BigQuery v praxi: Jak MacPaw zrychlil analytiku 10× a vybudoval jednotný DataHub

Výzva: potřeba rychlé analytiky

MacPaw denně zpracovává velké objemy dat: chování uživatelů, výkonnost marketingu a analýzu releasů nových produktů. Jde o každodenní úkoly byznys analytiků, které často vyžadují značné časové i provozní zdroje.

Na začátku společnost používala Google Analytics a menší interní řešení. Brzy se však ukázalo, že to nestačí. Google Analytics omezoval přístup k surovým datům (raw data) kvůli samplingu a nebylo možné propojit metriky s dalšími zdroji — reklamními platformami, platebními systémy, interními produkty a backendem.

Aby tým získal kompletní a kontrolovaný datový základ, vybudoval analytickou platformu na Redshiftu. Postupem času však Redshift přestal splňovat požadavky na rychlost a flexibilitu, a proto bylo nutné najít nový technologický základ. Volba padla na Google BigQuery — řešení, které se stalo páteří nového DataHubu.

BigQuery jako základ DataHubu

Jakmile tým přešel na BigQuery, bylo jasné, že nejde jen o další datový sklad. Znamenalo to zcela jiný přístup k analytice.

Dnes tým používá BigQuery jako centrální platformu pro ukládání a zpracování dat a vybudoval vlastní interní produkt — DataHub. Ten agreguje data z webů MacPaw i dalších systémů a aktivně se využívá pro analytiku a reporting. Je to místo, kde celá organizace — od analytiků po marketéry — nachází odpovědi.

Proč právě BigQuery?

Tým MacPaw vyzdvihl několik klíčových výhod, díky nimž bylo BigQuery správnou volbou:

• Rychlé výpočty umožňující provádět složité analýzy a získat výsledky během sekund místo hodin.
• Vysoká úroveň zabezpečení, nezbytná pro ukládání business-kritických dat.
• Platba podle využití na základě objemu zpracovaných dat, vhodná pro malé i velké firmy.
• Přehledné a intuitivní rozhraní, které zjednodušuje práci analytiků bez nutnosti programování.
• Vestavěné ML funkce umožňující využívat služby strojového učení a AI v Google Cloud.
• Vizualizace dat v Looker Studio (dříve Google Data Studio).

Od té doby společnost výrazně rozšířila architekturu na Google Cloud, navýšila objemy dat a spustila první AI pipeline. Níže je popsán aktuální vývoj datového ekosystému MacPaw.

Jak to funguje dnes: Aktuální architektura a rozsah

Od roku 2020 vzrostlo využívání Google Cloud pro datové úlohy v MacPaw více než trojnásobně. Tento růst byl výsledkem přechodu na vlastní analytická řešení a rozšiřování ekosystému.

MacPaw dnes provozuje flexibilní architekturu na Google Cloud, která pokrývá celý životní cyklus dat a je postavena kolem BigQuery jako centrálního jádra. Zpracování a automatizace běží v Google Kubernetes Engine (GKE) s využitím Airflow a Sparku.

Pro ingest událostí se používá Pub/Sub a veškerá data — od surových po zpracovaná — jsou uložena v Google Cloud Storage (GCS) ve formátu Delta Lake. Hlavním datovým skladem (DWH) je BigQuery, které kombinuje spravované tabulky a BigLake pro analýzu dat přímo z GCS.

Výsledky se vizualizují v Looker Studio a tým Data Science trénuje a nasazuje modely ve Vertex AI.

Jednotný ekosystém pro byznys

Tato architektura umožňuje týmu rychle spouštět nové produkty a testovat nápady bez obav o nedostatek zdrojů. Všechna data jsou centralizována s jasně definovanými přístupy pomocí IAM. Desítky datasetů už nejsou výzvou, ale standardem.

Výsledkem je jednotná platforma, která zajišťuje:

• Stabilní infrastrukturu pro provoz produktů;
• Rychlý a bezpečný přístup k analytice;
• Možnost škálovat AI iniciativy bez investic do vlastních serverů.

Evoluce BigQuery: Od prvních datasetů k desítkám

MacPaw považuje za hlavní přínos pro byznys zvýšení produktivity a efektivity týmů pracujících s velkými objemy dat. BigQuery zkracuje dobu čekání na výpočty a zpracování výsledků, což přímo urychluje byznys analytiku i celkový chod společnosti.

Řešení se snadno škáluje a spravuje, což data inženýrům usnadňuje integraci dat a umožňuje ukládat rostoucí objemy bez nutnosti investovat do vlastní infrastruktury.

• Na začátku: DataHub pracoval s 1–2 datasety.
• Dnes — desítky datasetů s řízením přístupů přes IAM a Authorized Views.
• Pro near-real-time analytiku se používá BigQuery streaming ingestion.
• Byl přidán BigLake pro SQL dotazy přímo nad daty uloženými v GCS.

Vertex AI: Když se analytika mění v predikce

Dalším krokem bylo posunout se od analýzy k predikcím. K tomu MacPaw integroval Vertex AI.

Vertex AI tvoří základ strojového učení v MacPaw. Je integrován do celého ekosystému Google Cloud a umožňuje rychlé experimentování i tvorbu znovupoužitelných trénovacích pipeline, včetně práce s velkými jazykovými modely a deep learningem — bez dodatečné infrastruktury.

Výsledek: kratší vývojové cykly modelů, škálovatelné AI projekty a přehledná kontrola nákladů.

Přínos pro byznys

MacPaw vybudoval jednotný datový ekosystém, kde každé rozhodnutí založené na datech začíná v BigQuery a končí v dashboardech Looker Studio. Společnost optimalizovala náklady a zároveň získala škálovatelnost, bezpečnost a rychlost potřebnou pro další růst.
Klíčové výsledky:

Co dál: AI jako další priorita

MacPaw pokračuje v rozvoji AI iniciativ se zaměřením na Vertex AI a služby Google Cloud, které umožňují rychle spouštět prediktivní modely, experimentovat a mít pod kontrolou náklady na infrastrukturu.

Cloudfresh jako důvěryhodný partner MacPaw

Aby vše fungovalo spolehlivě, potřeboval MacPaw nejen správnou technologii, ale i tým, který poradí a pomůže v kritických situacích. Tímto partnerem je Cloudfresh. Jako Google Cloud Premier Partner poskytl Cloudfresh komplexní konzultace k BigQuery a pomohl s jeho integrací do ekosystému MacPaw. Google Cloud experti Cloudfresh nadále MacPaw technicky podporují.

Jaká byla role Cloudfresh?

1. Konzultace datové architektury: optimalizace struktur datasetů v BigQuery, nastavení IAM, bezpečnosti a škálování.
2. Rychlá podpora v kritických situacích: pomoc s obnovou služeb a minimalizací výpadků.
3. Přímá komunikace s Googlem: spolehlivé zprostředkování dialogu s výrobcem pro odstranění blokátorů.
4. Expertíza v oblasti AI a ML: doporučení k využití Vertex AI pro rychlejší nasazení a škálování modelů.