SAP Datasphere – przegląd wybranych aktualizacji w pierwszym kwartale 2024 r.

W poniższym artykule przedstawiam kilka aktualizacji SAP Datasphere, które zostały wprowadzone w pierwszym kwartale 2024. Aktualizacje mają na celu ułatwienie użytkownikom korzystania z produktu.

Możliwość ustawienia częstotliwości pobierania danych

Datasphere oferuje kilka sposobów aktualizowania danych w systemie. Dane można pobierać, między innymi przy pomocy delty oraz zaplanować częstotliwość pobierania nowych danych. Pobierając dane przy pomocy delty, wykorzystywany jest specjalny wskaźnik (np. Timestamp pokazujący datę i godzinę dla danego rekordu), na podstawie którego sprawdza się czy dane rekordy są już w hurtowni i pobierane są tylko te, których nie ma w bazie.

Planując częstotliwość pobierania danych ze źródła, nie mamy możliwości sprawdzenia podczas pobierania, czy dane już istnieją w hurtowni. Przy tym podejściu pobierane są wszystkie dane wystawione przez źródło.

W obu przypadkach można ustalić częstotliwość pobierania nowych danych. Do niedawna, najczęściej można było odświeżać dane najczęściej co godzinę, co było pewnym ograniczeniem. W pierwszym kwartale 2024 wprowadzono aktualizację, w której częstotliwość można ustalać w minutach. Dzięki temu, możemy częściej odświeżać dane, a przez to korzystać z nowszych danych podczas analiz.

Transformacja danych przy pomocy SQL

W SAP Datasphere jest dostępnych kilka scenariuszy przetwarzania danych, ELT i ETL. W ELT (ang. Extract, load, transform), najpierw wgrywamy dane z systemu źródłowego do hurtowni, następnie je przetwarzamy. W tym podejściu możemy np. tworzyć widoki na podstawie danych, które już istnieją w hurtowni, a następnie udostępniać je do analizy. W podejściu ETL (ang. Extract, transform, load), dane z systemu źródłowego, są najpierw przetwarzane, a potem wgrywane do hurtowni. Podejście ETL jest wykorzystywane w Transformation Flow, w którym przetwarzamy dane przy pomocy edytora SQL i zapisujemy do tabeli lokalnej. W Transformation Flow był dostępny jedynie graficzny edytor, który posiadał ograniczenia względem edytora, w którym można pisać skrypt w języku SQL. W tym kwartale do Transformation Flow został dodany edytor SQL, w związku z czym możemy tworzyć skrypty dające więcej możliwości niż edytor graficzny.

Lepsza organizacja obiektów w przestrzeniach

Przestrzenie w SAP Datasphere są miejscami, w których dane są przetwarzane i przetrzymywanie. Przestrzenie można podzielić tematycznie, np. w jednej przestrzeni znajdują się dane HR, a w drugiej sprzedażowe. W przestrzeniach mogą znajdować się różne obiekty, np. tabele zdalne, która jest źródłem danych, transformation flows, w których tworzymy transformacje czy modele, na podstawie których tworzymy raporty. Trzymając wiele różnych obiektów w jednym miejscu, pojawia się nieporządek, przez który trudniej jest znaleźć to, czego potrzebujemy. Foldery pozwalają na uporządkowanie obiektów w przestrzeni, dzięki czemu można się sprawniej po niej poruszać.

Monitorowanie zmian w zdalnych tabelach

Tabele zdalne to pewnego rodzaju połączenie do źródła danych znajdującego się na innym systemie. Nie przetrzymują w sobie danych. Kiedy chcemy sprawdzić dane, SAP Datasphere pobiera je bezpośrednio ze źródła. Tabele zdalne mogą być wykorzystywane jako źródła dla innych obiektów w hurtowni, a jakakolwiek ich zmiana może mieć negatywny wpływ na obiekty, np. Data Flow, korzystające z takiej tabeli, może się zepsuć. W ostatnim kwartale został wprowadzony mechanizm monitorujący zmiany w źródłach, na których bazują tabele zdalne. Dzięki temu mechanizmowi, SAP Datasphere porównuje zdalną tabelę z jej źródłem. Tabele zdalne, które są niespójne ze swoim źródłem, otrzymują status informujący o błędzie. Dzieje się tak, gdy np. jakaś kolumna została usunięta w tabeli źródłowej. W takim przypadku trzeba ją również usunąć a tabeli zdalnej. Tabele zdalne, które są spójne ze swoim źródłem, otrzymują status informujący o zmianach do wdrożenia.

Podsumowanie

W powyższym artykule zostały opisane wybrane aktualizacje, które zostały wprowadzone do SAP Datasphere w czwartym pierwszym 2024 roku.