BRANŻA:

OBSZAR:

ZAKRES PRACY:

farmacja
przetwarzanie danych
wdrożenie środowiska Big Data

SYTUACJA WYJŚCIOWA:

Obecnie ilość danych pozyskiwanych z różnych źródeł rośnie w błyskawicznym tempie. Wiele z przedsiębiorstw nie jest w stanie nadążyć za rozwiązaniami niezbędnymi do ich przetwarzania. Firmy nie dysponują wiedzą dotyczącą tego, jak najefektywniej wykorzystać pozyskane informacje, a co za tym idzie – przedstawić je w sposób zrozumiały dla osób zarządzających.

Podobny problem wystąpił również w analizowanych przedsiębiorstwie z branży farmaceutycznej. Trudności z ogromną ilością danych, których przetworzenie zajmowało coraz więcej czasu, jak również ich objętość, przekonały zarządzających do podjęcia wysiłku i przeniesienia informacji z wielu rozdrobnionych baz do jednego Data Lake. Miało ono działać przy pomocy środowiska Apache Hadoop. Rozwiązanie to miało znacząco przyspieszyć procesowanie danych, które w dalszej kolejności posłużyły do ustalenia globalnej strategii sprzedaży.

NASZE ROZWIĄZANIE:

  • Stworzenie systemu odpowiedzialnego za automatyczną integrację wszystkich danych do jednego miejsca (tzw. Data Lake)
  • Powstały system służy całej firmie poprzez zapewnienie dostępu do danych granulowanych, jak również tych zintegrowanych i zagregowanych z wielu komercyjnych źródeł
  • Platforma odpowiedzialna za przetwarzanie terabajtow danych została zbudowana na wielowęzłowym klastrze Apache Hadoop, dystrybucji Cloudera
  • Główne parametry klastra Hadoop to: 18 Nodów, pamięć RAM 1.32 TB, 468 procesorów, 919 TB pojemności dysków

REZULTATY:

  • Projekt wykorzystujący technologię Big Data znacząco przyczynia się do poprawy szybkości otrzymywanych rezultatów, a łatwość w łączeniu danych z różnych źródeł umożliwia ich wizualizację w sposób wyjątkowo przyjazny dla analityków
  • Platforma Hadoop pozwala firmie dokładniej spojrzeć na dane, mieć do nich szybszy dostęp, dzięki czemu pracownicy nie muszą poświęcać czasu na ciągłą integrację
  • Cały projekt, dzięki wykorzystaniu technologii Big Data – Ekosystemu Hadoop, gromadzi informacje z różnych źródeł do jednego Data Lake
  • Projekt pozwala uzyskać analizy ponad 27 dni wcześniej niż przed wdrożeniem technologii Big Data
  • Prawie miesiąc wcześniej można uzyskać analizy predykcyjne dotyczące ustalenia globalnej strategii sprzedaży

TECHNOLOGIE / NARZĘDZIA:

Apache Hadoop, Apache Hive, wywoływanie skryptów BASHowych poprzez narzędzie ETL – Informatica Big Data Edition, Qlik Sense