BigQuery на практиці: Як MacPaw прискорили аналітику в 10 разів і створили єдиний DataHub

Виклик: Потреба у Швидкій Аналітиці

MacPaw щодня обробляють великі обсяги даних: поведінка користувачів, ефективність маркетингу, аналіз релізів нових продуктів. Усе це є щоденною задачею бізнес-аналітиків, яка часто вимагає значних витрат часу й ресурсів.

Спочатку компанія використовувала Google Analytics та власні невеликі рішення. Однак швидко стало зрозуміло, що цього недостатньо. Google Analytics не давала доступу до сирих даних через семплінг, а поєднати її показники з іншими джерелами — рекламними кабінетами, платіжними системами, внутрішніми продуктами й бекендом — було неможливо.

Щоб отримати повний і керований набір даних, команда побудувала аналітичну платформу на Redshift. Та з часом Redshift перестав відповідати вимогам щодо швидкості й гнучкості, тож постала потреба в новому технічному фундаменті. В результаті, команда обрала Google BigQuery,  і це рішення перетворилося на повноцінний фундамент для нового DataHub.

BigQuery як фундамент DataHub

Щойно команда перейшла на BigQuery, стало зрозуміло: це не просто інше сховище даних. Це — інший спосіб думати про аналітику.

Наразі, команда використовує BigQuery як базу для збереження та обробки даних, а також створили власний внутрішній продукт — DataHub. У ньому команда зібрала інфобазу з сайтів MacPaw та додаткових систем та активно використовує його для аналітики та формування звітів. Це місце, де вся команда, від аналітиків до маркетологів, знаходить відповіді.

Чому саме BigQuery?

Команда MacPaw виділила кілька вирішальних переваг, які зробили BigQuery ідеальним вибором:

• Швидка калькуляція даних, що дозволяє проводити складні обчислення та отримувати результати за лічені секунди, а не години.
• Високий рівень безпеки, важливий для того, щоб зберігати будь-яку Business Critical Data.
• Оплата послуг в залежності від об’єму оброблених даних, що зручно для великих і малих бізнесів. 
• Зручний та простий для використання інтерфейс, що полегшує роботу аналітикам, адже не потребує застосування мов програмування.
• Вбудовані ML-можливості, що дозволяють використовувати можливості Google Cloud для machine learning та штучний інтелект для обробки даних.
• Візуалізація даних в Looker Studio (раніше Google Data Studio).

Відтоді компанія суттєво розширила архітектуру на Google Cloud, наростила обсяги даних і запустила перші AI-пайплайни. Нижче розглянемо, як саме еволюціонувала екосистема даних в компанії.

Як це працює сьогодні: Поточна архітектура та масштаби

З 2020 року використання Google Cloud для роботи з даними в MacPaw зросло більш ніж у 3 рази. Це стало результатом переходу на власні аналітичні рішення та розширення екосистеми.

Сьогодні MacPaw використовує гнучку архітектуру на Google Cloud, яка охоплює всі ключові етапи роботи з даними і побудована навколо BigQuery як центрального ядра. Обробка та автоматизація процесів відбувається у Google Kubernetes Engine (GKE) із використанням Airflow та Spark. 

Для передачі подій застосовується Pub/Sub, а всі дані — від raw до оброблених — зберігаються у Google Cloud Storage (GCS) у форматі Delta Lake. Основним Data Warehouse є BigQuery, який поєднує керовані таблиці та BigLake для аналізу даних безпосередньо з GCS. 

Візуалізація результатів здійснюється через Looker Studio, а команда Data Science розгортає та навчає моделі на Vertex AI.

Єдина Екосистема для Бізнесу

Така архітектура дозволяє команді не тільки швидко запускати нові продукти, а й тестувати ідеї, не замислюючись, чи вистачить ресурсів. Усі дані — у спільному сховищі, з чітким розмежуванням доступів через IAM. Десятки датасетів — це вже не виклик, а звичка.

Такий підхід дозволив MacPaw отримати єдину платформу, що забезпечує:

• стабільну інфраструктуру для роботи продуктів;
• швидкий і безпечний доступ до аналітики;
• можливість масштабувати AI-напрям без інвестицій у власні сервери.

Еволюція використання BigQuery: Від перших датасетів до десятків

MacPaw вважає основною перевагою для бізнесу — збільшення продуктивності та ефективності команд, що працюють з великими масивами даних. BigQuery економить компанії час очікування калькуляції та обробки результатів. Завдяки цьому зростає і продуктивність бізнес-аналітики і швидкість роботи компанії, загалом.

Продукт легко масштабується та є гнучким в управлінні, що спрощує  дата інженерам інтеграцію даних та дозволяє хостити більше даних. Окрім того, робота з BigQuery дозволяє зекономити кошти на закупівлю зовнішніх серверів.

• На старті DataHub працював на 1–2 датасетах.
• Сьогодні — десятки датасетів з розмежуванням доступів через IAM і Authorized Views.
• Використовується BigQuery streaming ingestion для оперативної аналітики.
• Додано BigLake для SQL-запитів до даних у GCS.

Vertex AI: Коли Аналітика Переростає в Прогнози

Наступний крок — не просто збирати та аналізувати дані, а будувати на їх основі передбачення. Для цього в MacPaw інтегрували Vertex AI.

MacPaw використовує Vertex AI як основу для роботи з машинним навчанням. Він інтегрований із усією інфраструктурою Google Cloud, дозволяє швидко запускати експерименти та будувати повторно використовувані пайплайни для тренування моделей. 

Він став центром експериментів для data science-команди і надав можливість:

1. Прискорювати створення та тестування ML-рішень (через Jupyter Notebooks із GPU),
2. Автоматизувати навчання та деплой моделей,
3. Працювати з великими мовними моделями та deep learning без додаткової інфраструктури.

Результат: швидші цикли розробки моделей, можливість масштабувати AI-проєкти без власних серверів і прозоре керування витратами.

Що це дало бізнесу

MacPaw отримали єдину екосистему для роботи з даними, де кожне data-driven рішення починається з BigQuery і завершується у дашбордах Looker Studio. Компанія не тільки оптимізувала витрати, але й забезпечила масштабованість, безпеку та швидкість, які дозволяють підтримувати ріст і вихід на нові ринки.
Ключові досягнення:

Що далі: AI як наступний пріоритет

MacPaw не зупиняються: в планах — ще більше AI-кейсів. Фокус — на Vertex AI і все, що дозволяє швидко запускати прогнозні моделі, експериментувати і не переплачувати за інфраструктуру, використовуючі можливості Google Cloud.

Cloudfresh як надійний партнер MacPaw

Щоб усе це працювало, до того ж  працювало стабільно, потрібен не просто хороший інструмент, а команда, яка підкаже, допоможе і підстрахує. Для MacPaw такою командою став Cloudfresh. Як Google Cloud Premier Partner, Cloudfresh надали повноцінну консультацію MacPaw щодо роботи з BigQuery та допомогли інтегрувати продукт в екосистему компанії. Google Cloud експерти Cloudfresh продовжують супроводжувати компанію у технічних питаннях. 

У чому саме полягала роль Cloudfresh?

1. Консультації щодо архітектури даних: оптимізація структури датасетів у BigQuery, поради щодо IAM, безпеки та масштабування.
   
2. Оперативній підтримці в критичних ситуаціях: допомога у відновленні роботи сервісів та мінімізації ризиків простою.
   
3. Комунікації з Google: ми виступаємо як надійний партнер, що знімає блокери завдяки прямому діалогу з вендором.
   
4. Експертизі в AI та ML: рекомендації щодо використання Vertex AI для швидшого запуску й масштабування моделей.

Партнерство з Cloudfresh продовжується — ми й надалі поруч, щоб підсилювати команду MacPaw експертизою, підтримкою та новими можливостями Google Cloud.