Jak ukrajinská energetická společnost rozšířila možnosti analýzy velkých dat a předpovědi energetických trendů

Výzva

Hlavní výzvou bylo vytvoření centralizovaného datového skladu, který by automatizoval sběr a zpracování informací z mnoha různých zdrojů, od veřejných webů až po interní databáze PostgreSQL. Další klíčovou požadavkem bylo vyvinout spolehlivou orchestraci procesů ETL (extrakce, transformace, načítání), která by minimalizovala provozní náklady a zajistila vysokou spolehlivost systému.
ECU hledala řešení, které by nejen efektivně shromažďovalo a ukládalo velké objemy dat, ale také umožnilo provádět komplexní analýzu v reálném čase pomocí strojového učení a nástrojů pro inteligentní rozhodování.

Řešení

Ve spolupráci s Cloudfresh, Google Cloud Premier Partnerem, bylo vyvinuto komplexní řešení postavené na platformě Google Cloud, které zajistilo automatizaci a viditelnost v každé fázi životního cyklu dat — od extrakce až po analýzu.

1. Orchestrace a extrakce dat: Pro sběr dat bylo vyvinuto 20 konektorů (API konektory a web scrapers) pomocí Cloud Functions a Cloud Run. Tyto konektory byly vytvořeny pro různé zdroje dat — od veřejných webů po interní databáze. Orchestraci zajišťoval Cloud Composer, který automatizoval a spravoval všechny úkoly s minimálním manuálním zásahem. Využitím schopností Apache Airflow poskytl Cloud Composer spolehlivou kontrolu nad každým krokem procesu, zajišťující viditelnost stavu systému a včasnou detekci potenciálních problémů
2. Data Fusion pro transformaci dat: Po extrakci jsou data uložena do Cloud Storage pro počáteční uchování. Další transformace probíhá pomocí Cloud Data Fusion, integrační platformy, která umožňuje vytvářet a spravovat procesy ETL bez hlubokých programátorských znalostí. Díky široké nabídce konektorů a schopnosti vytvářet vlastní transformace, Data Fusion plně automatizoval transformační proces, standardizoval data a připravil je na následnou analýzu v BigQuery.
3. BigQuery jako analytická platforma: Klíčovou výhodou implementovaného řešení bylo použití BigQuery jako hlavního nástroje pro ukládání a analýzu dat. BigQuery je silný nástroj pro zpracování velkých datových souborů, který má schopnost škálovat na úrovni cloudové platformy. Podporuje analytické dotazy v reálném čase, což umožňuje ECU rychle získat klíčové poznatky pro rozhodování. Integrace s BigQuery také otevírá možnosti využívání nástrojů pro strojové učení (ML). V budoucnu plánuje ECU implementovat BigQuery ML, což umožní společnosti vytvářet modely pro predikci energetických toků a tržních trendů přímo v BigQuery, aniž by bylo nutné přesouvat data na samostatné platformy pro ML
4. Viditelnost a správa: Celý systém nabízí vysokou úroveň viditelnosti a spravovatelnosti. Pomocí Cloud Monitoring a Cloud Logging je monitorována každá fáze zpracování dat, s reálnými upozorněními na chyby nebo problémy, což zajišťuje stabilitu ETL procesů

Výsledky

Po implementaci řešení založeného na GCP dosáhla ECU těchto výsledků:

• Automatizace sběru dat z 20 různých zdrojů pomocí Cloud Functions a Cloud Run, což vedlo k snížení manuální práce a zlepšení spolehlivosti procesů
• Snížení provozních nákladů díky automatizaci ETL procesů a optimalizaci ukládání dat. 
• Příprava na pokročilé analytické nástroje založené na BigQuery a ML, což zvyšuje přesnost předpovědí pro energetické obchodování. 
• Kompletní viditelnost a spravovatelnost systému díky integraci s Cloud Monitoring a Cloud Logging, což umožňuje včasnou detekci a řešení problémů. 

Role Cloudfresh

Tým Cloudfresh dohlížel na celý proces implementace: od návrhu architektury po nastavení konektorů a zajištění spolehlivé orchestraci procesů. Použitím nejlepších praktik Google Cloud pomohl Cloudfresh ECU dosáhnout významných zlepšení v oblasti sběru, zpracování a analýzy dat.

Plány do budoucna

ECU plánuje pokračovat ve spolupráci s Cloudfresh na implementaci analytických modelů BigQuery ML a využití Looker pro vizualizaci dat. To dále optimalizuje provozní procesy a zvýší efektivitu rozhodování v podnikání.