BigQuery en pratique : comment MacPaw a accéléré l’analytique par 10 et bâti un DataHub unifié

Le défi : un besoin d’analytique rapide

MacPaw traite chaque jour des volumes importants de données : comportements utilisateurs, performance marketing, analyse des lancements et mises à jour de produits. Ces sujets font partie du quotidien des analystes métier et mobilisent souvent du temps et des ressources conséquents.

À l’origine, l’entreprise s’appuyait sur Google Analytics et quelques solutions internes. Très vite, cette approche a montré ses limites. Google Analytics restreignait l’accès aux données brutes à cause de l’échantillonnage, et il était impossible d’agréger ces métriques avec d’autres sources — plateformes publicitaires, systèmes de paiement, produits internes et services backend.

Pour disposer d’un jeu de données complet et exploitable, l’équipe a mis en place une plateforme analytique sur Redshift. Avec le temps, Redshift ne répondait plus aux exigences de vitesse et de flexibilité, ce qui a déclenché la recherche d’une nouvelle base technique. L’équipe a finalement choisi Google BigQuery— une décision devenue le socle d’un nouveau DataHub.

BigQuery comme fondation du DataHub

Dès la migration vers BigQuery, l’équipe a compris qu’il ne s’agissait pas seulement d’un nouvel entrepôt de données, mais d’un changement de paradigme dans la manière de concevoir l’analytique.

Aujourd’hui, BigQuery est la plateforme centrale de stockage et de traitement des données, autour de laquelle MacPaw a construit un produit interne : DataHub. Celui-ci agrège les données issues des sites MacPaw et d’autres systèmes, et il est utilisé au quotidien pour l’analytique et le reporting. C’est l’endroit où chacun — des analystes aux équipes marketing — vient chercher des réponses.

Pourquoi BigQuery ?

L’équipe MacPaw a identifié plusieurs avantages déterminants qui ont fait de BigQuery le bon choix :

• Traitement ultra-rapide des données, capable d’exécuter des calculs complexes en quelques secondes plutôt qu’en plusieurs heures ;
• Niveau de sécurité élevé, indispensable pour héberger des données critiques pour l’activité ;
• Tarification à l’usage, indexée sur le volume de données traitées, adaptée aux grandes comme aux petites entreprises ;
• Interface simple à prendre en main, permettant aux analystes d’interroger les données sans écrire de code ni dépendre des équipes engineering ;
• Fonctionnalités ML intégrées, ouvrant l’accès aux services de machine learning et d’IA de Google Cloud ;
• Visualisation des données dans Looker Studio (anciennement Google Data Studio).

Depuis, l’entreprise a considérablement étendu son architecture Google Cloud, augmenté ses volumes de données et lancé ses premiers pipelines IA. Voici comment l’écosystème data de MacPaw a évolué.

Comment ça fonctionne aujourd’hui : architecture actuelle et passage à l’échelle

Depuis 2020, l’usage de Google Cloud par MacPaw pour les workloads data a été multiplié par plus de trois. Cette croissance s’explique par l’adoption de solutions analytiques internes et par l’expansion de l’écosystème.

Aujourd’hui, MacPaw s’appuie sur une architecture Google Cloud flexible qui couvre toutes les étapes clés du cycle de vie de la donnée, avec BigQuery comme noyau central. Le traitement et l’automatisation s’exécutent sur Google Kubernetes Engine (GKE), avec Airflow et Spark.

Pub/Sub est utilisé pour l’ingestion d’événements, tandis que l’ensemble des données — brutes comme transformées — est stocké dans Google Cloud Storage (GCS) au format Delta Lake. BigQuery agit comme entrepôt principal, en combinant des tables managées et BigLake afin d’analyser directement les données hébergées dans GCS.

Les résultats sont visualisés dans Looker Studio, tandis que l’équipe Data Science entraîne et déploie des modèles sur Vertex AI.

Un écosystème unifié pour le business

Cette architecture permet de lancer rapidement de nouveaux produits et de tester des hypothèses sans contrainte de ressources. Toutes les données résident dans un référentiel partagé, avec des contrôles d’accès clairement définis via IAM. Gérer des dizaines de datasets n’est plus une difficulté : c’est devenu la norme.

MacPaw dispose ainsi d’une plateforme unique qui apporte :

• une infrastructure stable pour les opérations produit ;
• un accès rapide et sécurisé à l’analytique ;
• la capacité de faire évoluer les initiatives IA sans investissement dans une infrastructure on-premise.

L’évolution de BigQuery : des premiers datasets à des dizaines

MacPaw considère l’augmentation de la productivité et de l’efficacité des équipes travaillant sur de grands volumes de données comme le principal bénéfice métier. BigQuery réduit les temps d’attente liés aux calculs et à l’obtention de résultats, ce qui accélère directement l’analytique et, plus largement, les opérations de l’entreprise.

La plateforme se met à l’échelle facilement et reste flexible à administrer. Elle simplifie l’intégration des données pour les data engineers et permet d’héberger des volumes croissants sans acheter de serveurs supplémentaires.

• Au départ, DataHub fonctionnait avec 1 à 2 datasets ;
• Aujourd’hui : des dizaines de datasets, avec contrôles d’accès via IAM et Authorized Views ;
• L’ingestion en streaming BigQuery est utilisée pour une analytique quasi temps réel ;
• BigLake a été ajouté afin d’exécuter des requêtes SQL directement sur les données stockées dans GCS.

Vertex AI : quand l’analytique devient prédictive

L’étape suivante a consisté à dépasser l’analyse descriptive pour produire des prédictions. Pour y parvenir, MacPaw a intégré Vertex AI.

Vertex AI sert de socle au machine learning chez MacPaw. Entièrement intégré à l’écosystème Google Cloud, il permet de lancer rapidement des expérimentations et de réutiliser des pipelines d’entraînement entre différents projets — y compris pour les grands modèles de langage et le deep learning — sans infrastructure additionnelle.

Résultat : des cycles de développement plus courts, des projets IA capables de passer à l’échelle et un pilotage des coûts plus transparent.

Impact business

MacPaw a construit un écosystème data unifié où chaque décision orientée données commence dans BigQuery et se matérialise dans des dashboards Looker Studio. L’entreprise a optimisé ses coûts tout en garantissant un accès sécurisé aux données à grande échelle, et en réduisant drastiquement le délai entre question et réponse à mesure que l’organisation grandit.
Résultats clés :

Et ensuite : l’IA comme prochaine priorité

MacPaw continue d’étendre ses initiatives IA, avec un focus sur Vertex AI et les services Google Cloud qui permettent de déployer rapidement des modèles prédictifs, d’expérimenter librement et de maîtriser les coûts d’infrastructure.

Cloudfresh, partenaire de confiance de MacPaw

Pour garantir un fonctionnement fiable, MacPaw avait besoin de plus que de la bonne technologie : il fallait une équipe capable de conseiller, d’accompagner et d’intervenir lorsque nécessaire. Ce partenaire, c’est Cloudfresh.

En tant que Google Cloud Premier Partner, Cloudfresh a assuré un accompagnement de bout en bout sur BigQuery et a contribué à son intégration dans l’écosystème MacPaw. Les Google Cloud experts de Cloudfresh continuent aujourd’hui de soutenir MacPaw sur les sujets techniques.

Quel a été le rôle de Cloudfresh ?

1. Conseil en architecture data : optimisation des structures de datasets BigQuery, configuration IAM, sécurité et scalabilité.
2. Support rapide en situations critiques : aide à la reprise de service et réduction des risques d’indisponibilité.
3. Communication directe avec Google : rôle d’intermédiaire fiable pour lever les blocages via un dialogue direct avec l’éditeur.
4. Expertise IA & ML : recommandations sur l’usage de Vertex AI pour accélérer le déploiement et la montée en charge des modèles.

Notre partenariat avec Cloudfresh se poursuit — et nous restons mobilisés pour renforcer l’équipe MacPaw avec de l’expertise, du support et de nouvelles capacités Google Cloud.