BigQuery на практике: как MacPaw ускорили аналитику в 10 раз и создали единый DataHub

Вызов: потребность в быстрой аналитике

MacPaw ежедневно обрабатывают большие объемы данных: поведение пользователей, эффективность маркетинга, анализ релизов новых продуктов. Все это — повседневная задача бизнес-аналитиков, которая часто требует значительных затрат времени и ресурсов.

Изначально компания использовала Google Analytics и собственные небольшие решения. Однако быстро стало понятно, что этого недостаточно. Google Analytics не предоставляла доступ к сырым данным из-за семплинга, а объединить ее показатели с другими источниками — рекламными кабинетами, платежными системами, внутренними продуктами и бэкендом — было невозможно.

Чтобы получить полный и управляемый набор данных, команда построила аналитическую платформу на Redshift. Со временем Redshift перестал соответствовать требованиям по скорости и гибкости, и возникла необходимость в новом технологическом фундаменте. В результате команда выбрала Google BigQuery — решение, которое стало полноценной основой нового DataHub.

BigQuery как фундамент DataHub

Сразу после перехода на BigQuery стало понятно: это не просто другое хранилище данных. Это — другой подход к аналитике.

Сегодня команда использует BigQuery как основу для хранения и обработки данных, а также создала собственный внутренний продукт — DataHub. В нем собрана информационная база с сайтов MacPaw и дополнительных систем, которая активно используется для аналитики и формирования отчетов. Это место, где вся команда — от аналитиков до маркетологов — находит ответы.

Почему именно BigQuery?

Команда MacPaw выделила несколько ключевых преимуществ, которые сделали BigQuery оптимальным выбором:

• Быстрые вычисления, позволяющие выполнять сложные расчеты и получать результаты за секунды, а не часы.
• Высокий уровень безопасности, необходимый для хранения business-critical данных.
• Оплата в зависимости от объема обработанных данных — удобно как для крупных, так и для небольших компаний.
• Понятный и удобный интерфейс, который упрощает работу аналитиков и не требует знания языков программирования.
• Встроенные ML-возможности для использования сервисов Google Cloud в задачах машинного обучения и AI.
• Визуализация данных в Looker Studio (ранее Google Data Studio).

С этого момента компания значительно расширила архитектуру на Google Cloud, увеличила объемы данных и запустила первые AI-пайплайны. Ниже — как именно эволюционировала data-экосистема MacPaw.

Как это работает сегодня: текущая архитектура и масштабы

С 2020 года использование Google Cloud для работы с данными в MacPaw выросло более чем в 3 раза. Это стало результатом перехода на собственные аналитические решения и расширения экосистемы.

Сегодня MacPaw использует гибкую архитектуру на Google Cloud, охватывающую все ключевые этапы работы с данными и построенную вокруг BigQuery как центрального ядра. Обработка и автоматизация процессов выполняется в Google Kubernetes Engine (GKE) с использованием Airflow и Spark.

Для передачи событий используется Pub/Sub, а все данные — от raw до обработанных — хранятся в Google Cloud Storage (GCS) в формате Delta Lake. Основным Data Warehouse выступает BigQuery, который объединяет управляемые таблицы и BigLake для анализа данных напрямую из GCS.

Визуализация результатов осуществляется через Looker Studio, а команда Data Science разрабатывает и обучает модели в Vertex AI.

Единая экосистема для бизнеса

Такая архитектура позволяет команде быстро запускать новые продукты и тестировать идеи, не задумываясь о нехватке ресурсов. Все данные находятся в общем хранилище с четким разграничением доступов через IAM. Десятки датасетов — это уже не вызов, а норма.

В результате MacPaw получили единую платформу, которая обеспечивает:

• стабильную инфраструктуру для работы продуктов;
• быстрый и защищенный доступ к аналитике;
• масштабирование AI-направления без инвестиций в собственные серверы.

Эволюция BigQuery: от первых датасетов к десяткам

MacPaw считает ключевым бизнес-эффектом рост продуктивности и эффективности команд, работающих с большими массивами данных. BigQuery сокращает время ожидания вычислений и обработки результатов, что напрямую ускоряет аналитику и работу компании в целом.

Решение легко масштабируется и удобно в управлении, упрощая интеграцию данных для data-инженеров и позволяя хранить большие объемы информации без затрат на собственные серверы.

• На старте DataHub работал с 1–2 датасетами.
• Сегодня — десятки датасетов с разграничением доступов через IAM и Authorized Views.
• Используется BigQuery streaming ingestion для оперативной аналитики.
• Подключен BigLake для SQL-запросов к данным в GCS.

Vertex AI: когда аналитика переходит к прогнозам

Следующий шаг — не просто анализировать данные, а строить прогнозы. Для этого в MacPaw внедрили Vertex AI.

Vertex AI стал основой для ML-задач, позволив быстро запускать эксперименты, создавать переиспользуемые пайплайны обучения моделей и работать с большими языковыми моделями без собственной инфраструктуры.

Результат — более короткие циклы разработки моделей, масштабируемые AI-проекты и прозрачное управление затратами.

Что это дало бизнесу

MacPaw получили единую data-экосистему, где каждое решение начинается с BigQuery и заканчивается дашбордами в Looker Studio. Компания оптимизировала расходы и обеспечила масштабируемость, безопасность и скорость для дальнейшего роста.
Ключевые результаты:

Что дальше: AI как следующий приоритет

MacPaw продолжает развивать AI-направление, делая ставку на Vertex AI и возможности Google Cloud для быстрого запуска и масштабирования моделей без лишних затрат.

Cloudfresh — надежный партнер MacPaw

Чтобы бизнес-процессы работали как часы, а системы оставались стабильными, мало просто выбрать хороший инструмент — нужна команда, которая подскажет, поможет и подстрахует. Для MacPaw такой командой стали Cloudfresh. Как Google Cloud Premier Partner, Cloudfresh проконсультировали MacPaw по работе с BigQuery и помогли интегрировать продукт в экосистему компании. Google Cloud эксперты Cloudfresh продолжают сопровождать компанию в решении технических вопросов.

В чем именно заключалась роль Cloudfresh?

1. Консультации по архитектуре данных: оптимизация структуры датасетов в BigQuery, рекомендации по IAM, безопасности и масштабированию.
2. Оперативная поддержка в критических ситуациях: помощь в восстановлении работы сервисов и минимизация рисков простоя.
3. Коммуникация с Google: мы выступаем в роли надежного связующего звена, устраняя препятствия благодаря прямому диалогу с вендором.
4. Экспертиза в AI и ML: рекомендации по использованию Vertex AI для ускоренного запуска и масштабирования моделей.

Партнерство с Cloudfresh продолжается — мы остаемся рядом, чтобы усиливать команду MacPaw экспертизой, поддержкой и новыми возможностями Google Cloud.