Cas : L’Energy Company of Ukraine (ECU)

Google Cloud et Cloudfresh permettent à la compagnie énergétique ukrainienne de renforcer ses capacités en matière d'analyse des données et de prévision des tendances énergétiques

Présentation de l’entreprise

L’Energy Company of Ukraine (ECU) est un leader national en matière de fourniture et de négoce d’énergie. Elle approvisionne en électricité des dizaines d’entreprises importantes dans toute l’Ukraine et en importe de l’UE en cas de pénurie énergétique. Cette entreprise intègre sans cesse de nouvelles technologies afin de renforcer son efficacité et de prendre de meilleures décisions en matière de gestion. Face aux évolutions rapides et à la forte concurrence, il est devenu indispensable de disposer d’outils d’analyse détaillée et de prévision précise des tendances énergétiques. Dans ce contexte, l’ECU a confié à Cloudfresh la mise en œuvre d’une solution basée sur Google Cloud Platform (GCP).

Date de début du projet : 6 avril 2024
Date de fin du projet : 31 mai 2024

Défi à relever

Le principal défi portait sur la construction d’un entrepôt de données centralisé permettant d’automatiser la collecte et le traitement d’informations provenant de multiples sources, des sites web publics aux bases de données internes PostgreSQL. En outre, une condition essentielle était le développement des processus d’extraction, de transformation et de chargement (ETL) afin de minimiser les coûts d’exploitation et de garantir la fiabilité du système.

L’ECU désirait une solution permettant non seulement de recueillir et de stocker efficacement de grandes quantités de données, mais aussi d’effectuer des analyses complexes en temps réel grâce à l’apprentissage automatique et à des outils de prise de décision intelligents.

Solution

En collaboration avec Cloudfresh, partenaire principal de Google Cloud, la société a mis au point une stratégie complète reposant sur la plateforme Google Cloud, afin de garantir une automatisation et une visibilité à chaque étape du cycle de vie des données, de l’extraction à l’analyse.

1. Organisation et extraction des données : Pour collecter les données, ce sont 20 connecteurs (connecteurs API et web scrapers) qui ont été développés à l’aide de Cloud Functions et Cloud Run. Ceux-ci ont été conçus pour différentes sources de données – des sites web publics aux bases de données internes. Le processus d’organisation a été assuré par Cloud Composer, qui a permis d’automatiser et de gérer toutes les tâches en minimisant les interventions manuelles. En exploitant les possibilités d’Apache Airflow, Cloud Composer a permis un contrôle fiable de chaque étape du processus, garantissant l’observabilité de l’état du système et la détection rapide des problèmes éventuels.
2. Fusion des données à des fins de transformation : Une fois extraites, les données sont conservées dans le Cloud Storage dans un premier temps. Une transformation ultérieure est exécutée grâce à Cloud Data Fusion, une plateforme d’intégration permettant de développer et de gérer des processus ETL sans nécessiter de connaissances approfondies en matière de programmation. Fort d’une large gamme de connecteurs et de capacités de transformation personnalisées, Data Fusion a entièrement automatisé le processus de transformation, en normalisant les données et en les préparant à l’analyse ultérieure dans BigQuery.
3. BigQuery au service de l’analyse : L’un des principaux avantages de la stratégie mise en œuvre est le choix de BigQuery comme outil principal de stockage et d’analyse des données. BigQuery est un formidable instrument de traitement de grands ensembles de données, capable de s’adapter à la plate-forme en nuage. Il supporte les requêtes analytiques en temps réel, afin de fournir rapidement à l’ECU des informations indispensables à sa prise de décision.
4. L’intégration de BigQuery permet en outre de tirer parti d’outils d’apprentissage automatique (ML). En effet, ECU prévoit de déployer BigQuery ML, afin d’élaborer des modèles de prévision des flux d’énergie et des tendances du marché directement dans BigQuery, sans avoir à déplacer les données vers des plates-formes d’apprentissage automatique séparées.
5. Observabilité et gestion : Cette stratégie offre une observabilité et une gestion optimales. Grâce à Cloud Monitoring et Cloud Logging, chaque étape du traitement des données est supervisée, accompagnée d’alertes en temps réel en cas de défaillance ou de problème, de sorte à garantir la stabilité des processus ETL.

Bilan

Après avoir mis en œuvre la stratégie GCP, l’ECU a obtenu les résultats suivants :

• Automatisation de la collecte de données à partir de 20 sources différentes à l’aide de Cloud Functions et Cloud Run, ce qui réduit le travail manuel et rend les processus plus fiables.
• Réduction des coûts opérationnels grâce à l’automatisation des processus ETL et à l’optimisation du stockage des données.
• Préparation aux outils analytiques avancés basés sur BigQuery et ML, augmentant la précision des prévisions de trading énergétique.
• Observabilité et gérabilité totales du système grâce à l’intégration avec Cloud Monitoring et Cloud Logging, pour une détection et une résolution des problèmes rapides.

Quel rôle a joué Cloudfresh ?

L’équipe de Cloudfresh a supervisé l’ensemble du processus de mise en œuvre : de sa conception à la mise en place de connecteurs, en passant par l’orchestration fiable des processus. Grâce à l’application des meilleures pratiques de Google Cloud, Cloudfresh a aidé l’ECU à accomplir des progrès considérables en matière de collecte, de traitement et d’analyse des données.

Perspectives d’avenir

L’ECU compte bien poursuivre sa collaboration avec Cloudfresh pour implémenter des modèles d’analyse ML BigQuery et exploiter Looker pour la visualisation des données. Ceci optimisera davantage ses processus opérationnels et améliorera le processus décisionnel de l’entreprise.