BigQuery w praktyce: jak MacPaw przyspieszył analitykę 10× i stworzył jednolity DataHub

Wyzwanie: potrzeba szybkiej analityki

MacPaw każdego dnia przetwarza duże wolumeny danych: zachowania użytkowników, skuteczność działań marketingowych oraz analizy wydań nowych produktów. To codzienne zadania analityków biznesowych, które często wymagają znacznych nakładów czasu i zasobów.

Początkowo firma korzystała z Google Analytics oraz niewielkich, wewnętrznych rozwiązań. Jednak szybko stało się jasne, że to nie wystarczy. Google Analytics ograniczało dostęp do surowych danych z powodu samplingu, a połączenie tych danych z innymi źródłami — platformami reklamowymi, systemami płatności, produktami wewnętrznymi i backendem — było niemożliwe.

Aby uzyskać pełny i kontrolowany zestaw danych, zespół zbudował platformę analityczną opartą na Redshift. Z czasem Redshift przestał spełniać wymagania dotyczące szybkości i elastyczności, co wymusiło poszukiwanie nowego fundamentu technologicznego. W efekcie zespół wybrał Google BigQuery — rozwiązanie, które stało się podstawą nowego DataHubu.

BigQuery jako fundament DataHubu

Gdy tylko zespół przeszedł na BigQuery, stało się jasne: to nie jest tylko kolejna baza danych. To zupełnie inne podejście do analityki.

Obecnie zespół wykorzystuje BigQuery jako centralną platformę do przechowywania i przetwarzania danych oraz stworzył własny produkt wewnętrzny — DataHub. Gromadzi on dane ze stron MacPaw oraz z dodatkowych systemów i jest intensywnie wykorzystywany do analityki i raportowania. To miejsce, w którym odpowiedzi znajdują wszyscy — od analityków po marketerów.

Dlaczego BigQuery?

Zespół MacPaw wskazał kilka kluczowych zalet, które przesądziły o wyborze BigQuery:

• Szybkie przetwarzanie danych umożliwiające wykonywanie złożonych obliczeń i uzyskiwanie wyników w sekundach zamiast godzin.
• Wysoki poziom bezpieczeństwa, niezbędny do przechowywania danych krytycznych dla biznesu.
• Model rozliczeń oparty na rzeczywistym zużyciu danych — wygodny zarówno dla dużych, jak i mniejszych firm.
• Przejrzysty i intuicyjny interfejs, który ułatwia pracę analitykom i nie wymaga znajomości języków programowania.
• Wbudowane możliwości ML pozwalające wykorzystywać usługi uczenia maszynowego i AI w Google Cloud.
• Wizualizacja danych w Looker Studio (wcześniej Google Data Studio).

Od tego czasu firma znacznie rozszerzyła architekturę w Google Cloud, zwiększyła ilość danych i uruchomiła pierwsze potoki AI. Poniżej przedstawiono, jak ewoluował ekosystem danych MacPaw.

Jak to działa dziś: aktualna architektura i skala

Od 2020 roku wykorzystanie Google Cloud do pracy z danymi w MacPaw wzrosło ponad trzykrotnie. Było to efektem przejścia na własne rozwiązania analityczne oraz rozbudowy ekosystemu.

Obecnie MacPaw korzysta z elastycznej architektury opartej na Google Cloud, obejmującej wszystkie kluczowe etapy pracy z danymi i zbudowanej wokół BigQuery jako centralnego elementu. Przetwarzanie i automatyzacja realizowane są w Google Kubernetes Engine (GKE) z wykorzystaniem Airflow i Spark.

Do przesyłania zdarzeń wykorzystywany jest Pub/Sub, a wszystkie dane — od surowych po przetworzone — przechowywane są w Google Cloud Storage (GCS) w formacie Delta Lake. Główną hurtownią danych jest BigQuery, łączący tabele zarządzane oraz BigLake do analizy danych bezpośrednio z GCS.

Wizualizacja wyników odbywa się w Looker Studio, a zespół Data Science trenuje i wdraża modele w Vertex AI.

Jednolity ekosystem dla biznesu

Taka architektura pozwala zespołowi szybko uruchamiać nowe produkty i testować pomysły bez obaw o dostępność zasobów. Wszystkie dane znajdują się w jednym repozytorium, z precyzyjnym zarządzaniem dostępem poprzez IAM. Dziesiątki zestawów danych nie stanowią już wyzwania — to codzienność.

W efekcie MacPaw zyskał jedną platformę, która zapewnia:

• stabilną infrastrukturę dla działania produktów;
• szybki i bezpieczny dostęp do analityki;
• możliwość skalowania inicjatyw AI bez inwestycji we własne serwery.

Ewolucja BigQuery: od pierwszych datasetów do dziesiątek

MacPaw za kluczową korzyść biznesową uznaje wzrost produktywności i efektywności zespołów pracujących z dużymi zbiorami danych. BigQuery skraca czas oczekiwania na obliczenia i wyniki, co bezpośrednio przyspiesza analitykę i ogólne tempo działania firmy.

Rozwiązanie jest łatwe do skalowania i elastyczne w zarządzaniu, co upraszcza integrację danych dla data engineerów i pozwala przechowywać coraz większe wolumeny bez konieczności zakupu dodatkowej infrastruktury.

• Na początku DataHub działał na 1–2 datasetach.
• Obecnie — dziesiątki datasetów z kontrolą dostępu poprzez IAM i Authorized Views.
• Wykorzystywany jest BigQuery streaming ingestion do analityki bliskiej czasu rzeczywistego.
• Dodano BigLake do wykonywania zapytań SQL bezpośrednio na danych w GCS.

Vertex AI: gdy analityka przechodzi w prognozy

Kolejnym krokiem było przejście od samej analizy danych do budowania prognoz. W tym celu MacPaw zintegrował Vertex AI.

Vertex AI stanowi fundament działań z zakresu uczenia maszynowego w MacPaw. Jest zintegrowany z całym ekosystemem Google Cloud, umożliwiając szybkie eksperymenty oraz tworzenie wielokrotnego użytku pipeline’ów treningowych, w tym pracę z dużymi modelami językowymi i deep learningiem — bez dodatkowej infrastruktury.

Efekt: krótsze cykle rozwoju modeli, skalowalne projekty AI oraz przejrzyste zarządzanie kosztami.

Wpływ na biznes

MacPaw zbudował jednolity ekosystem danych, w którym każda decyzja oparta na danych zaczyna się w BigQuery i kończy na dashboardach Looker Studio. Firma zoptymalizowała koszty, jednocześnie zyskując skalowalność, bezpieczeństwo i szybkość niezbędne do dalszego wzrostu.
Kluczowe rezultaty:

Co dalej: AI jako kolejny priorytet

MacPaw nie zatrzymuje się: w planach jest jeszcze więcej przypadków zastosowania sztucznej inteligencji. Uwaga skupia się na Vertex AI i wszystkim, co pozwala szybko uruchamiać modele prognostyczne, eksperymentować i nie przepłacać za infrastrukturę, wykorzystując możliwości Google Cloud.

Cloudfresh jako zaufany partner MacPaw

Aby wszystko działało stabilnie, MacPaw potrzebował nie tylko odpowiednich narzędzi, ale także zespołu, który doradzi, pomoże i wesprze w krytycznych momentach. Takim partnerem został Cloudfresh. Jako Google Cloud Premier Partner, Cloudfresh zapewnił kompleksowe doradztwo w zakresie BigQuery i pomógł zintegrować rozwiązanie z ekosystemem MacPaw. Eksperci Google Cloud z Cloudfresh nadal wspierają firmę w kwestiach technicznych.

Na czym polegała rola Cloudfresh?

1. Konsultacje architektury danych: optymalizacja struktur datasetów w BigQuery, konfiguracja IAM, bezpieczeństwo i skalowanie.
2. Szybkie wsparcie w sytuacjach krytycznych: pomoc w przywracaniu usług i minimalizacji ryzyka przestojów.
3. Bezpośrednia komunikacja z Google: rola zaufanego pośrednika w usuwaniu blokad dzięki bezpośredniemu dialogowi z dostawcą.
4. Ekspertyza w obszarze AI i ML: rekomendacje dotyczące wykorzystania Vertex AI do szybszego wdrażania i skalowania modeli.

Współpraca z Cloudfresh trwa nadal — nadal wspieramy zespół MacPaw, dzieląc się naszą wiedzą, zapewniając wsparcie i oferując nowe możliwości Google Cloud.