Hadoop Summit – must be dla osób zainteresowanych Big Data

Nie tak dawno, a dokładnie pomiędzy 15 a 16 kwietnia, Bruksela stała się na 2 dni stolicą świata nowych technologii. Wszystko za sprawą konferencji Hadoop Summit, w której jako Konsultant BI/BIG Data oraz przedstawiciel firmy Apollogic, miałem okazję uczestniczyć.

Hadoop Summit jest jedną z największych na świecie konferencji dotyczących ekosystemu Hadoop, której organizatorem jest firma Hortonworks. Podczas konferencji przedstawiane są idee oraz największe osiągnięcia ze świata „Big Data”. Tegoroczna edycja Hadoop Summit, która miała miejsce w Brukseli, niosła za sobą główne przesłanie: „Hadoop is enterprise ready”. Na dowód tego, prezentowane były przykłady setek firm, które swoje aplikacje i systemy budują w oparciu o ekosystem Hadoop. Wśród nich możemy wymienić dostawców oprogramowania, jak np. SAP, Microsoft, Teradata, Hortonworks, MapR, Cloudera, Pivotal, SAS, Informatica czy Cisco, gigantów internetowych, takich jak Google, Yahoo, Pinterest czy Spotify oraz wiele firm wykorzystujących Hadoop w swoich przedsiębiorstwach, takich jak British Gas, ING i wielu innych.

Konferencja umożliwiała wymianę informacji i doświadczenia z dostawcami technologii, którzy przygotowali stoiska targowe, ale najważniejszym jej elementem były panele tematyczne, podczas których każdy mógł znaleźć coś dla siebie. Panele były otwarte, dzięki czemu z każdego z nich można było wybrać najbardziej interesujące tematy z jednej z 6 ścieżek:

Committer Track
Data Science & Hadoop
Hadoop Governance, Security & Operations
Hadoop Access Engines
Applications of Hadoop and the Data Driven Business
The Future of Apache Hadoop

Oprócz głównego przesłania konferencji “Hadoop is enterprise ready”, bardzo wiele wątków dotykało nowych trendów IT, takich jak Rebel Data Warehouse, Data Lake oraz Internet of Things. Dzięki wykładom, można było dowiedzieć się, jak zacząć budować od podstaw nowoczesną hurtownię danych pozbawioną granic, korzystającą ze skalowalnej technologii i redukującą koszty przechowywania danych do niewyobrażalnie niskiej ceny. Brak ograniczeń oznacza nie tylko nieskończoną pojemność magazynu danych, ale również dostarczenie interfejsów umożliwiających dostęp do danych oraz narzędzi analitycznych dla innych aplikacji. Dzięki takim rozwiązaniom, korzystanie z internetu rzeczy staje się prostsze niż kiedykolwiek, coraz łatwiejsze będzie wykrywanie oszustw finansowych, podnoszenie bezpieczeństwa na drodze i wiele innych.

Za sprawą IoT można mówić o odwróceniu internetu do góry nogami: podstawą iternetu był odbiór informacji przez miliony konsumentów z pojedynczych serwerów, dziś informacje z milionów źródeł trafiają do pojedynczych serwerów. Ilość zgromadzonych w ten sposób danych oraz rozwój analityki, powodują, że pojedyncze serwery nie oferują już wystarczającej wielkości magazynów danych i mocy obliczeniowej, a narzędzia ekosystemu Hadoop stawiają przed nami stabilne i gotowe rozwiązania, oparte o technologię open-source.

Główna sesja konferencji poruszała między innymi temat użyteczności rozwiązań w codziennym życiu normalnych ludzi. Podczas swojego wystąpienia Ben Hammersley zwracał uwagę, że wszystkie technologie mają służyć człowiekowi, zmieniać i upraszczać życie. Swoje wystąpienie rozpoczął od słów: „We won. Now we have a problem”. Miał przez to na myśli, że technologia daje dziś większe możliwości niż kiedykolwiek sobie wyobrażaliśmy, a najtrudniejszym zadaniem dziś nie jest już optymalizacja szybkości, zwiększenie wydajności, analiza danych i uczenie maszynowe, bo to wszystko już mamy, najważniejsze jest to aby technologię dostosować do naszych potrzeb i oczekiwań. Jednym z wątków, które najbardziej zapadły mi w pamięć, dotyczy budowania inteligentnych miast. W Nowym Jorku, czy w Londynie inteligentne miasta mają między innymi optymalizować czas, w którym można dotrzeć z jednego miejsca, do drugiego, ale istnieją miejsca, gdzie ludzie mają czas i przemieszczając się swoimi rowerami podziwiają piękno przyrody. Dla nich ważniejsze niż czas jest to, aby po drodze spotkać jak najwięcej kolorowych, uśmiechniętych ludzi i aby po drodze do pracy, w ich ulubionej kawiarni mogli wypić kawę bez czekania w kolejce. Dziś, właśnie tak powinniśmy optymalizować świat!

Tegoroczna edycja Hadoop Summit, potwierdza, że aktywne wykorzystanie technologii Big Data w firmie Apollogic było bardzo dobrym krokiem. Udowadnia, że kierunek, w którym rozwijane są nasze produkty, takie jak ApoSentinel, podąża za światowymi trendami w dziedzinie przetwarzania i analityki danych. Wydarzenie było bardzo inspirujące i w ciągu najbliższych miesięcy nasze produkty wyposażone zostaną nowe funkcjonalności, które zrewolucjonizują nie tylko świat technologii.

Autorem relacji jest Marcin Siudziński – BI/Big Data Konsultant w firmie Apollogic