Najnowsze trendy na Big Data Warsaw Technology Summit (wywiad)
9. lutego 2017 w warszawskim hotelu Sheraton odbyło się Big Data Technology Warsaw Summit. Uczestniczyli w nim Mikołaj Kęsy i Adam Maciaszek – Konsultanci Big Data w Apollogic. Opowiedzieli nam o wrażeniach z tego wydarzenia!
Jakie były Wasze oczekiwania wobec tej konferencji? Czego się spodziewaliście?
Mikołaj Kęsy: Chciałem dowiedzieć się jakie są trendy w branży i poznać nowe narzędzia. Big Data Technology Warsaw Summit to największa typowo techniczna branżowa konferencja. Zazwyczaj wydarzenia związane z Big Data dotyczą korzyści z wdrożenia tych technologii w firmach i problemów, które rozwiązują. Jej adresatami są managerowie, nie developerzy.
Adam Maciaszek: Na wydarzeniu chciałem poznać narzędzia i technologie używane przez wiodące firmy w branży IT. Może mogą posłużyć mi za inspirację w codziennej pracy?
Na jakie prezentacje czekaliście najbardziej? Czy na konferencji pojawiły się Wasze autorytety, znane nazwiska w branży?
Adam: Interesują mnie zagadnienia na pograniczu Big Data i Data Science, więc najbardziej czekałem na wystąpienia w ścieżce Data Science. Dlatego też zaciekawił mnie tytuł prelekcji “One Jupyter to rule them all”, Mariusza Strzeleckiego. Podczas wykładu Mariusz zaprezentował jak narzędzie Jupyter upraszcza pisanie aplikacji klasy Big Data.
Mikołaj: Moją uwagę z kolei najbardziej przykuł tytuł prezentacji “Spotify’s Event Delivery”, Nelsona Arapé. Przed jej usłyszeniem byłem przekonany, że ten serwis opiera się na rozwiązaniach open source. Okazało się, że korzystają w pełni z rozwiązań Google’a. Uświadomiło mi to, że Google sukcesywnie wspiera duże firmy w rozwiązaniach Big Data.
Jaką wiedzę udało Wam się pozyskać? Jakieś nowinki, które możecie wykorzystać w swojej pracy?
Mikołaj: Dowiedziałem się wiele o narzędziach służących do przetwarzania danych w czasie rzeczywistym. Nie miałem z nimi wcześniej żadnego doświadczenia. Po konferencji wiem jak do nich podejść. Myślę nawet o zaprojektowaniu Proof of Concept, który może pomóc Apollogic wejść w obszar tych technologii.
Adam: Zaskoczyło mnie wykorzystanie noteboooków Jupytera na potrzeby developmentu. Umożliwia to pisanie komentarzy i kodu programu. Do tej pory zetknąłem się z tym tylko na potrzeby wizualizacji. Dowiedziałem się, że inne firmy wykorzystują to też przy projektach, gdzie tworzą kompletny kod w tym narzędziu.
Które z wystąpień spodobało Wam się najbardziej? Czemu?
Adam: Za najbardziej wartościowe uważam “Real-Time Data Processing at RTB House– Architecture & Lessons Learned”, Bartosza Łosia. Przedstawił model biznesowy związany z real-time biddingiem. Polega on na tym, że reklamy na stronach internetowych sprzedaje się jako aukcje. Wymaga to bardzo szybkiej analizy dużej ilości strumieni danych. Potrzeba do tego też wykorzystania zaawansowanych modeli analitycznych. Powinny one działać bardzo szybko. Prelegent zaprezentował całą architekturę stosowanego rozwiązania. Ciekawie wprowadził do samego modelu biznesowego RTB.
Mikołaj: Mnie z kolei najbardziej spodobała się prezentacja „Enabling ‘Log Everything’ at Skyscanner” Robin Tweedie & Arthur Vivian. W kompleksowy sposób przedstawili swoją platformę. Konieczne jest przetwarzanie na niej ogromnych strumieni danych. W przystępny sposób opowiedział jakich narzędzi użyto do rozwiązania swojego problemu oraz korzyściach, które udało się osiągnąć.
Jakie Waszym zdaniem będą najważniejsze trendy Big Data w 2017 roku? Topowe technologie?
Mikołaj: Moim zdaniem najważniejszym trendem pozostanie silna eksploracja uczenia maszynowego i sztuczna inteligencja. Na rynku jest obecnie duża konkurencja wśród narzędzi do przetwarzania danych w czasie rzeczywistym. Większość z nich jest jednak nowa i niedojrzała. Dlatego też spodziewam się dynamicznego rozwoju, szczególnie w zakresie narzędzi open source. Szczególnie interesuje mnie rywalizacji między Apache Flink i Spark.
Adam: Coraz więcej firm przenosi swoje architektury Big Data do chmur, takich jak Google Cloud i Amazon. Myślę, że ich wykorzystanie będzie stawało się coraz bardziej popularne. Kolejnym ważnym trendem jest coraz szersze wykorzystanie deep learningu.
ApoTwitterBoard – Proof of Concept Adama i Mikołaja – analiza strumieni danych w czasie rzeczywistym
- On 01/03/2017
0 Comments