Кейс: Енергетична Компанія України (ЕКУ)

Як Енергетична компанія України розширила можливості для аналізу великих масивів даних і прогнозування енергетичних трендів

Про компанію

Енергетична компанія України (ЕКУ) є національним лідером у трейдингу і постачанні енергоресурсів, забезпечуючи електроенергією десятки стратегічних підприємств України, а також здійснюючи її імпорт із ЄС в умовах енергодефіциту. Компанія невпинно впроваджує нові технології для підвищення ефективності своїх операцій та управлінських рішень. В умовах динамічних змін і високої конкуренції, потреба в інструментах для детальної аналітики і точного прогнозування енергетичних трендів є критично важливою. Для вирішення цього завдання ЕКУ звернулася до Cloudfresh з метою впровадження рішення на базі Google Cloud Platform (GCP).

Дата старту проєкту: 6 квітня  2024 р.
Дата завершення проєкту: 31 травня 2024 р.

Челендж

Основним завданням стало створення централізованого сховища даних, яке б автоматизувало збір та обробку інформації з численних джерел, включаючи відкриті публічні сайти та внутрішні бази даних PostgreSQL. Ключовою вимогою була побудова надійної оркестрації процесів витягу, трансформації та завантаження даних (ETL), яка б мінімізувала операційні витрати й забезпечувала високу надійність системи.

ЕКУ шукали рішення, яке дозволило б не лише ефективно збирати й зберігати великі обсяги даних, але й мати змогу виконувати складну аналітику в режимі реального часу, з використанням машинного навчання та інтелектуальних інструментів для прийняття рішень.

Рішення

Спільно з Cloudfresh, Google Cloud прем’єр партнером, було розроблено комплексне рішення, що базується на Google Cloud Platform, яке забезпечує автоматизацію та спостережуваність на кожному етапі життєвого циклу даних — від збору до аналізу.

1. Оркестрація та витяг даних: Для збору даних було розроблено 20 конекторів (API-конектори та веб-парсери) з допомогою Cloud Functions та Cloud Run. Ці конектори були створені для різних джерел даних — від публічних веб-ресурсів до внутрішніх баз даних. Оркестрацію процесів забезпечує Cloud Composer, що дозволяє автоматизувати і керувати всіма завданнями з мінімальним ручним втручанням. Завдяки можливостям Apache Airflow, Cloud Composer забезпечує надійний контроль за виконанням кожного етапу, спостережуваність за станом системи та своєчасне виявлення можливих помилок.
2. З метою тестування платформи роботи з даними в цілому, було протестовано Data Fusion для трансформації даних: Після витягу дані потрапляють до Cloud Storage, де відбувається їх первинне зберігання. Протестована можливість подальшої трансформації за допомогою Cloud Data Fusion — це інтеграційна платформа, яка дозволяє створювати та керувати ETL-процесами без потреби глибоких знань у програмуванні. Завдяки широкому набору конекторів і можливості створювати кастомні трансформації, Data Fusion показав можливість забезпечити повну автоматизацію процесу трансформації даних, їх стандартизацію та підготовку для подальшого аналізу в BigQuery.
3. BigQuery як аналітична платформа: Однією з ключових переваг впровадженого рішення стало використання BigQuery як основного інструменту для зберігання та аналізу даних. BigQuery — це потужний інструмент для обробки великих обсягів даних з можливістю масштабування на рівні хмарної платформи. Він підтримує аналітичні запити в реальному часі, дозволяючи ЕКУ швидко отримувати важливу інформацію для ухвалення рішень.
   Інтеграція з BigQuery також відкриває можливості для використання інструментів машинного навчання (ML). У майбутньому планується впровадження BigQuery ML, що дозволить створювати моделі для прогнозування енергетичних потоків і ринкових коливань прямо в BigQuery, без необхідності переміщення даних до окремих ML-платформ.
4. Спостережуваність (observability) і управління: Вся система має високий рівень спостережуваності та керованості. Використання Cloud Monitoring та Cloud Logging дозволяє відстежувати кожен етап обробки даних, сповіщати про збої або проблеми в реальному часі та гарантувати стабільність виконання ETL-процесів.

Результати

Після впровадження рішення на базі GCP, ЕКУ отримала можливість:

• • Автоматизувати процес збору даних з 20-ти різних джерел з використанням Cloud Functions і Cloud Run, що дозволило зменшити кількість ручної роботи та підвищити надійність процесу.
  • Зменшити операційні витрати завдяки автоматизації ETL-процесів і оптимізації зберігання даних.
  • Підготуватися до використання аналітичних інструментів на базі BigQuery та ML для покращення точності прогнозів у торгівлі енергією.

• Отримати задокументоване та описане рішення

• Забезпечити повну спостережуваність і керованість системи завдяки інтеграції Cloud Monitoring та Cloud Logging, що дозволяє своєчасно виявляти та вирішувати проблеми.

Роль Cloudfresh

Команда Cloudfresh відповідала за всі етапи впровадження рішення: від проектування архітектури до налаштування конекторів та забезпечення надійної оркестрації процесів. Завдяки використанню найкращих практик Google Cloud, Cloudfresh допомогла ЕКУ покращити збір, обробку та аналіз даних.

Плани на майбутнє

ЕКУ планує продовжувати співпрацю з Cloudfresh для впровадження аналітичних моделей на базі BigQuery ML і використання Looker для візуалізації даних. Це допоможе ще більше оптимізувати операційні процеси та підвищити ефективність бізнес-рішень.