Как Энергетическая компания Украины расширила возможности для анализа больших объемов данных и прогнозирования энергетических трендов

Челлендж

Основной целью было создание централизованного хранилища данных, которое автоматизировало бы сбор и обработку информации из множества источников, включая открытые публичные сайты и внутренние базы данных PostgreSQL. Ключевым требованием была разработка надежной оркестрации процессов извлечения, трансформации и загрузки данных (ETL), минимизирующей операционные расходы и обеспечивающей высокую надежность системы.

ЭКУ искали решение, которое позволило бы не только эффективно собирать и хранить большие объемы данных, но и выполнять сложную аналитику в режиме реального времени с использованием машинного обучения и интеллектуальных инструментов для принятия решений.

Решение

Совместно с Cloudfresh, премиум-партнером Google Cloud, было разработано комплексное решение на базе Google Cloud Platform, обеспечивающее автоматизацию и наблюдаемость на каждом этапе жизненного цикла данных — от их сбора до анализа.

1. 1. Оркестрация и извлечение данных: Для сбора данных было разработано 20 коннекторов (API-коннекторы и веб-парсеры) с использованием Cloud Functions и Cloud Run. Эти коннекторы были созданы для различных источников данных — от публичных веб-ресурсов до внутренних баз данных. Оркестрацию процессов обеспечивает Cloud Composer, который позволяет автоматизировать и управлять всеми задачами с минимальным ручным вмешательством. Благодаря возможностям Apache Airflow, Cloud Composer обеспечивает надежный контроль выполнения каждого этапа, наблюдаемость за состоянием системы и своевременное выявление возможных ошибок.
   2. Тестирование платформы для работы с данными: Данные после извлечения поступают в Cloud Storage, где происходит их первичное хранение. Возможность дальнейшей трансформации данных была протестирована с помощью Cloud Data Fusion — интеграционной платформы, которая позволяет создавать и управлять ETL-процессами без глубоких знаний программирования. Широкий набор коннекторов и возможность создавать пользовательские трансформации позволили обеспечить автоматизацию процесса подготовки данных для анализа в BigQuery.
   3. BigQuery как аналитическая платформа: Ключевым элементом внедренного решения стало использование BigQuery как основного инструмента для хранения и анализа данных. BigQuery — это мощный инструмент для обработки больших объемов данных с возможностью масштабирования на уровне облачной платформы. Он поддерживает аналитические запросы в режиме реального времени, позволяя ЭКУ быстро получать важную информацию для принятия решений. Интеграция с BigQuery также открывает возможности для использования инструментов машинного обучения (ML). В будущем планируется внедрение BigQuery ML, что позволит создавать модели для прогнозирования энергетических потоков и рыночных колебаний прямо в BigQuery, без необходимости перемещать данные на отдельные ML-платформы.
   4. Наблюдаемость (observability) и управление: Система имеет высокий уровень наблюдаемости и управляемости. Использование Cloud Monitoring и Cloud Logging позволяет отслеживать каждый этап обработки данных, уведомлять о сбоях в режиме реального времени и гарантировать стабильность выполнения ETL-процессов.

Результаты

После внедрения решения на базе GCP ЭКУ получили возможность:

• Автоматизировать сбор данных из 20 различных источников с использованием Cloud Functions и Cloud Run, что сократило объем ручной работы и повысило надежность процесса.
• Сократить операционные затраты благодаря автоматизации ETL-процессов и оптимизации хранения данных.
• Подготовиться к использованию аналитических инструментов на базе BigQuery и ML для повышения точности прогнозов в энергетической торговле.
• Получить задокументированное и описанное решение.
• Обеспечить полную наблюдаемость и управляемость системы благодаря интеграции Cloud Monitoring и Cloud Logging, позволяющей своевременно выявлять и устранять проблемы.

Роль Cloudfresh

Команда Cloudfresh отвечала за все этапы внедрения решения: от проектирования архитектуры до настройки коннекторов и обеспечения надежной оркестрации процессов. Используя лучшие практики Google Cloud, Cloudfresh помогли ЭКУ улучшить сбор, обработку и анализ данных.

Планы на будущее

ЭКУ планируют продолжить сотрудничество с Cloudfresh для внедрения аналитических моделей на базе BigQuery ML и использования Looker для визуализации данных. Это поможет еще больше оптимизировать операционные процессы и повысить эффективность бизнес-решений.