Neueste Big Data-Trends beim Warschau Gipfel (Interview)

Das Big Data Warschau-Gipfel fand am 9. Februar 2017 in Warsaw Sheraton Hotel statt. Die Apollogic Big Data Berater Mikołaj Kęsy und Adam Maciaszek haben daran teilgenommen und von ihren Eindrücken erzählt!

Was waren Eure Erwartungen und Wünsche an die Tagung?

Mikołaj Kęsy: Ich wollte mehr über Industrietrends erfahren und über neue Tools lernen. Der Big Data-Technologie Warschau Gipfel ist eine typische technische Konferenz und die größte in dem Bereich. Big Data-Veranstaltungen handeln in der Regel von den Vorteilen der Implementierung dieser Technologie und von den Problemen, die dadurch im Unternehmen gelöst werden. Sie richten sich an Manager und nicht an Entwickler.

Adam Maciaszek: Während der Veranstaltung wollte ich mich mit den Tools und den Technologien der führenden Unternehmen in der IT-Branche vertraut machen. Vielleicht könne sie mich in irgendeiner Art und Weise bei meiner täglichen Arbeit inspirieren.

Welche Vorträge haben Euch am meisten gefallen? Waren auch namenhafte Unternehmen präsent?

Adam: Ich interessiere mich sehr für Themen, die an Big Data und Data Science angrenzen und freue mich am meisten über Vorträge darüber. Deswegen wurde ich bereits vom Titel der Vorlesung „One Jupyter to rule them all“ vom Mariusz Strzelecki fasziniert. Bei der Präsentation zeigte Mariusz Strzelecki, wie das Jupyter-Tool die Big Data-Klassenanwendung vereinfacht.

Mikołaj: Meine Aufmerksamkeit gewann der Vortrag „Spotify’s Event Delivery! Von Nelson Arap. Vor der Präsentation war ich mir sicher, dass dieser Service auf Open-Source-Lösungen basiert. Es stellte sich jedoch heraus, dass die Google-Lösung sehr viele Vorteile bietet. Dies machte mir klar, dass Google erfolgreich große Unternehmen, die an Big Data-Lösungen arbeiten, unterstützt.

Welches Wissen könnt Ihr bei Eurer Arbeit verwenden?

Mikołaj: Ich habe viel über Tools gelernt, die für Datenverarbeitung in Echtzeit genutzt werden. Jetzt nach der Tagung, weiß ich vorgehen muss. Ich denke sogar über ein „Proof of Concept“ nach, das Apollogic dabei hilft diesen Technologie-Bereich zu erfassen

Adam: Ich war überrascht von vom Jupyter Notebook überrascht. Man kann Kommentare und Programmcodes schreiben. Bisher habe ich nur gesehen, wie das Tool für Visualisierungszwecke genutzt wurde. Andere Unternehmen verwenden Jupyter in Projekten und schreiben damit komplette Codes. Das war neu für mich.

Welcher Vortrag hat Euch am besten gefallen und warum?

Adam: Für mich war der Vertrag von Bartosz Łoś „Real-Time Data Processing at RTB House- Architecture & Lessons Learned” am interessantesten.  Er hat ein Geschäftsmodell im Zusammenhang mit Echtzeit-Auktion/Bieten präsentiert. Es basiert auf der Tatsache, dass Werbung auf Webseiten als Auktion verkauft wird. Dies erfordert eine sehr schnelle Analyse großer Datenflüsse. Dafür sind fortgeschrittene analytische Modelle nötig, die sehr schnell arbeiten. Der Referent stellte die gesamt Architektur der verwendeten Lösung vor. Besonders die Art, wie er RTB zum Geschäftsmodell selbst einführte, war interessant.

Mikołaj: Mir hat am meisten die Präsentation “Enabling ‚Log Everything‘ at Skyscanner” von Robin Tweedie & Arthur Vivian gefallen. Sie haben uns ihre Plattform umfangreich präsentiert und erklärt, dass riesige Datenströme verarbeitet werden müssen. Im weiterem verlauf haben sie uns ganz einfach erzählt, welche Werkzeuge verwendet wurden, um ihr Problem zu lösen und welche Vorteile dadurch gewonnen werden.

Was sind Eurer Meinung nach, die wichtigsten Trends für 2017 im Big Data-Bereich? 

Mikołaj: Ich denke, dass Machine Learning und künstliche Intelligenz die wichtigsten Trends bleiben. Die Konkurrenz um Datenverarbeitungswerkzeugen in Echtzeit ist sehr stark geworden. Trotzdem sind die meisten Tools noch relativ neu und nicht ausgereift. Deshalb denke ich, dass eine große Entwicklung im Bereich der Open-Source-Tools stattfinden wird. Besonders spannend finde ich dabei die Rivalität zwischen Apache Flink und Spark.

Adam: Immer mehr Unternehmen verschieben ihre Big Data Architektur in Clouds wie Google Cloud und Amazon. Ich denke der Trend wird weiter zunehmen.

ApoTwitterBoard – Adam und Mikołaj’s Proof of Concept – Analyse der Datenströme in Echtzeit

Mehr Informationen auf der Tagungswebseite