Jak Ukraińska Firma Energetyczna Rozwinęła Analizę Big Data i Prognozowanie Trendów Energetycznych

Wyzwanie

Głównym wyzwaniem było zbudowanie scentralizowanego magazynu danych, który automatycznie zbierałby i przetwarzał informacje z licznych źródeł, od publicznych stron internetowych po wewnętrzne bazy danych PostgreSQL. Dodatkowo, kluczowym wymogiem było opracowanie niezawodnej orkiestracji procesów ekstrakcji, transformacji i ładowania (ETL), aby zminimalizować koszty operacyjne i zapewnić wysoką niezawodność systemu.
ECU poszukiwała rozwiązania, które nie tylko efektywnie zbierałoby i przechowywało duże ilości danych, ale również umożliwiało przeprowadzanie zaawansowanej analityki w czasie rzeczywistym przy użyciu narzędzi uczenia maszynowego i inteligentnego podejmowania decyzji.

Rozwiązanie

We współpracy z Cloudfresh, Google Cloud Premier Partner, opracowano kompleksowe rozwiązanie oparte na Google Cloud Platform, zapewniające automatyzację i obserwowalność na każdym etapie cyklu życia danych — od ekstrakcji po analizę.

1. 1. Orkiestracja i ekstrakcja danych: Aby zebrać dane, opracowano 20 konektorów (konektory API i web scrapery) przy użyciu Cloud Functions i Cloud Run. Konektory te zostały stworzone dla różnych źródeł danych — od publicznych stron internetowych po wewnętrzne bazy danych. Orkiestracja była zarządzana przez Cloud Composer, automatyzując i zarządzając wszystkimi zadaniami przy minimalnej ingerencji manualnej. Wykorzystując możliwości Apache Airflow, Cloud Composer zapewniał niezawodne sterowanie każdym etapem procesu, gwarantując obserwowalność stanu systemu i terminowe wykrywanie potencjalnych problemów.
   2. Data Fusion dla transformacji danych: Po ekstrakcji dane były przechowywane w Cloud Storage do początkowej retencji. Kolejna transformacja danych była realizowana przy użyciu Cloud Data Fusion, platformy integracyjnej, która umożliwia budowanie i zarządzanie procesami ETL bez głębokiej wiedzy programistycznej. Dzięki szerokiemu zakresowi konektorów i możliwościom dostosowania transformacji, Data Fusion w pełni zautomatyzowało proces transformacji, standaryzując dane i przygotowując je do dalszej analizy w BigQuery.
   3. BigQuery jako platforma analityczna: Kluczową zaletą wdrożonego rozwiązania było wykorzystanie BigQuery jako głównego narzędzia do przechowywania i analizowania danych. BigQuery to potężne narzędzie do przetwarzania dużych zbiorów danych z możliwością skalowania na poziomie platformy chmurowej. Obsługuje zapytania analityczne w czasie rzeczywistym, umożliwiając ECU szybkie pozyskiwanie kluczowych informacji do podejmowania decyzji.
      Integracja z BigQuery otwiera również możliwości wykorzystania narzędzi uczenia maszynowego (ML). W przyszłości ECU planuje wdrożenie BigQuery ML, co pozwoli firmie na budowanie modeli prognozujących przepływy energii i trendy rynkowe bez potrzeby przenoszenia danych do oddzielnych platform ML.
   4. Obserwowalność i zarządzanie: Cały system oferuje wysoki poziom obserwowalności i zarządzalności. Dzięki integracji z Cloud Monitoring i Cloud Logging każdy etap przetwarzania danych jest monitorowany, a błędy lub problemy są natychmiastowo zgłaszane, zapewniając stabilność procesów ETL.

Wyniki

Po wdrożeniu rozwiązania opartego na GCP, ECU osiągnęła:

• Automatyzację zbierania danych z 20 różnych źródeł przy użyciu Cloud Functions i Cloud Run, co zmniejszyło pracę manualną i poprawiło niezawodność procesów. 
• Zmniejszenie kosztów operacyjnych poprzez automatyzację procesów ETL i optymalizację przechowywania danych. 
• Przygotowanie do zaawansowanych narzędzi analitycznych opartych na BigQuery i ML, co zwiększyło dokładność prognoz handlu energią. 
• Pełną obserwowalność i zarządzanie systemem poprzez integrację z Cloud Monitoring i Cloud Logging, co umożliwiło szybką detekcję i rozwiązanie problemów. 

Rola Cloudfresh

Zespół Cloudfresh nadzorował cały proces wdrożenia: od projektowania architektury po konfigurację konektorów i zapewnienie niezawodnej orkiestracji procesów. Dzięki zastosowaniu najlepszych praktyk Google Cloud, Cloudfresh pomogła ECU osiągnąć znaczne usprawnienia w zbieraniu, przetwarzaniu i analizowaniu danych.

Plany na przyszłość

ECU planuje kontynuować współpracę z Cloudfresh w celu wdrożenia modeli analitycznych BigQuery ML i wykorzystania Lookera do wizualizacji danych. To pomoże jeszcze bardziej zoptymalizować procesy operacyjne i zwiększyć efektywność podejmowania decyzji biznesowych.