Analýza dat AI na platformě Google Cloud a její cena

V dnešním článku bychom se rádi ponořili do struktury nákladů na datovou analytiku s umělou inteligencí (AI) na platformě Google Cloud Platform (GCP), která je podle tržního podílu jedním z největších poskytovatelů cloudové infrastruktury.

Nejprve je třeba poznamenat, že na všech oficiálních zdrojích Google Cloud jsou umělá inteligence (AI) a strojové učení (ML) neoddělitelné a považovány za jedinou kategorii.

Počet souvisejících produktů se pohybuje od 17 do 27, což ukazuje, že společnost Google aktivně rozšiřuje nabídku tak, aby odrážela rostoucí poptávku po nových funkcích.

Zde se zaměříme na cenové aspekty dvou základních produktů GCP, a to Vertex AI a Gemini, spolu s nástroji pro AI analytiku, jako jsou BigQuery a Looker.

Jako globální Premier Partner Google Cloud se budeme snažit co nejlépe odpovědět na následující otázky:

• Je ukládání trénovacích dat pro Neural Architecture Search v BigQuery stejně nákladné jako samotný provoz Vertex AI NAS?
• Kolik stojí používání BigQuery jako offline úložiště příznaků (feature repository) pro strojové učení (Vertex AI Feature Store)?
• Kolik stojí klidná mysl? Monitorování modelů Vertex AI s trénovacími a predikčními daty uloženými v BigQuery.
• Vyplatí se předplatné Gemini Code Assist? Pohled na konverzační analytiku v Lookeru a optimalizaci nákladů v BigQuery.

Pojďme začít!

Datová analytika s AI v praxi

Každý z níže uvedených případů použití ukazuje, jak organizace ve velmi odlišných odvětvích využívají nástroje Google Cloud AI k řešení velkých výzev, zvyšování efektivity a vytváření nových příležitostí.

Doprava a mobilita

• Společnost Geotab používá BigQuery a Vertex AI ke zpracování miliard datových bodů každý den z více než 4,6 milionu vozidel. Výsledky podporují chytřejší správu vozového parku, bezpečnější jízdu, dekarbonizaci dopravy a poznatky, které pomáhají městům stát se bezpečnějšími a udržitelnějšími.

Finance a pojištění

• Dojo denně podporuje miliony bezpečných a bleskurychlých plateb. S modely Looker a Gemini společnost testuje nové způsoby, jak mohou firmy přirozeně pracovat s platebními informacemi.
• Společnost United Wholesale Mortgage mění hypoteční proces pomocí Vertex AI, Gemini a BigQuery. Za pouhých devět měsíců zdvojnásobila produktivitu upisovatelů a zkrátila dobu uzavírání úvěrů pro 50 000 makléřů a jejich klientů.
• Společnost Hiscox vytvořila první model upisování rizik pro pojišťovny na bázi umělé inteligence s využitím BigQuery a Vertex AI. Komplexní nabídky rizik, které dříve trvaly tři dny, nyní zaberou jen několik minut.
• MSCI, přední vydavatel tržních indexů a ukazatelů, využívá Vertex AI, BigQuery a Cloud Run k obohacení informací o téměř jednom milionu umístění aktiv. Tyto poznatky, podpořené datovou analytikou s AI, pomáhají klientům měřit a řídit rizika související s klimatem.
• Společnost Apex Fintech Solutions spoléhá na BigQuery, Looker a Google Kubernetes Engine, aby rozšířila přístup k finančním přehledům, zjednodušila investování a připravila se na inovace poháněné AI.
• Společnost 180 Seguros vylepšila svou interní datovou platformu pomocí Google Cloud AI a BigQuery. Zaměstnanci nyní sledují provozní metriky a dotazy běží třikrát rychleji.
• Aluga Mais, brazilský startup zabývající se pronájmem, využívá Vertex AI, Document AI a BigQuery k vytváření finančních profilů zákazníků. Zrychlil analýzu registrací z 90 minut na pouhých 24 sekund.

Maloobchod a spotřební zboží

• Tchibo, evropská značka kávy a e-commerce, je závislá na Vertex AI a BigQuery pro prognózování poptávky. Její řešení pro datovou analytiku DEMON, poháněné AI, provádí více než šest milionů predikcí denně, což společnosti pomáhá řídit zásoby, snižovat logistické náklady a zlepšovat dostupnost produktů.
• Společnost Unilever digitalizovala svou obchodní distribuci pomocí BigQuery. Nyní zpracovává 75 000 objednávek denně a obsluhuje miliony maloobchodníků na rozvíjejících se trzích.
• Gymshark, britská fitness značka a komunita, vybudovala jednotnou datovou platformu s BigQuery, Looker, Dataflow a Vertex AI. Tento systém poskytuje hlubší přehled o zákaznících a personalizované fitness zážitky ve velkém měřítku.

Zdravotnictví

• ARC Innovation v Sheba Medical Center využívá Looker Studio a BigQuery ML k vytváření řešení pro datovou analytiku s AI, která zlepšují kritická klinická rozhodnutí při léčbě rakoviny vaječníků.

Technologie a služby

• Společnost Bosch SDS postavila udržitelnost do centra svého provozu díky Google Cloud. Pomocí Kubernetes, BigQuery a Firebase vytvořila kognitivní engine řízený AI, který vydává upozornění v reálném čase. Výsledkem je snížení nákladů na energii o 12 %, zlepšení vnitřního komfortu a větší využívání obnovitelných zdrojů energie.

Média a zábava

• Společnost Spotify navázala spolupráci se službou Google Cloud, aby zvládla masivní škálování pomocí nástroje BigQuery. Platforma zpracovává obrovské objemy informací a poskytuje personalizované zážitky z poslechu více než 675 milionům uživatelů po celém světě.

Prozkoumejte další případové studie GCP.

Vertex AI

Pokud jde o vytváření a správu modelů strojového učení na Google Cloud, Vertex AI nabízí sadu nástrojů, která pokrývá celé spektrum – od objevování nejlepších neuronových architektur přes organizaci příznaků (features) až po monitorování výkonu modelu.

Ať už experimentujete s Neural Architecture Search (NAS), centralizujete data příznaků pomocí Feature Store nebo sledujete kvalitu modelu pomocí Model Monitoring, tyto nástroje vám umožní efektivně navrhovat, trénovat a udržovat systémy pro datovou analytiku s AI.

Pojďme se blíže podívat na to, jak jednotlivé komponenty fungují, kolik Vertex AI stojí a jak zapadají do reálného pracovního postupu ML.

Neural Architecture Search (NAS)

Vertex AI Neural Architecture Search (NAS) je nástroj pro vyhledávání nejpřesnějších neuronových architektur. Umožňuje zohlednit nebo ignorovat omezení, jako je latence, velikost paměti a vlastní metriky.

Díky schopnosti prozkoumat prohledávací prostor o velikosti až 10^20 pomohl NAS vytvořit pokročilé modely počítačového vidění, jako jsou Nasnet, MNasnet, EfficientNet, NAS-FPN a SpineNet.

NAS však není plug-and-play. Vyžaduje specializovaný tým pro konfiguraci a testování architektonických parametrů, jako je velikost jádra nebo počet kanálů. Nejlépe se hodí pro případy, kdy tradiční metody, jako je ladění hyperparametrů, již nepřinášejí zlepšení.

Nedoporučuje se používat NAS, pokud máte omezená nebo silně nevyvážená data, protože je závislý na rozsáhlém experimentování a dostupnosti.

Spusťme například několik testovacích úloh s použitím předem nakonfigurovaného prohledávacího prostoru a trenažéru MNasNet.

Na grafu uvidíte, že nejlepší odměna ve fázi 1 stoupá z přibližně 0,30 v pokusu 1 na zhruba 0,37 v pokusu 17. Vaše výsledky se mohou mírně lišit v důsledku náhodnosti vzorkování, ale i tak byste si měli všimnout vzestupného trendu.

Mějte na paměti, že se jedná pouze o testovací běh, nikoli o ověření konceptu (PoC) nebo veřejný benchmark pro datovou analytiku s AI.

• Celkový počet zkušebních běhů: 25
• Počet GPU na zkušební běh: 2
• Typ GPU: TESLA_T4
• Počet CPU na zkušební běh: 1
• Typ CPU: n1-highmem-16
• Průměrná doba tréninku na zkušební běh: 3 hodiny
• Paralelních zkušebních běhů: 6
• Celková využitá kvóta GPU: (počet GPU na běh × počet paralelních běhů) = 2 × 6 = 12
• Region: us-central1 (trénovací data uložena ve stejné oblasti; není potřeba žádná další kvóta)
• Doba běhu: (celkový počet běhů × doba tréninku na běh) ÷ (počet paralelních běhů) = (25 × 3) ÷ 6 = 12 hodin
• Vyjádřeno v GPU-hodinách: (celkový počet běhů × doba tréninku na běh × počet GPU na běh) = 25 × 3 × 2 = 150 T4 hodin
• Vyjádřeno v CPU-hodinách: (celkový počet běhů × doba tréninku na běh × počet CPU na běh) = 25 × 3 × 1 = 75 n1-highmem-16 hodin

Odhadované náklady činí přibližně 185 USD. Samozřejmě můžete proces zastavit dříve, abyste snížili náklady.

Díky flexibilitě je NAS výkonný, ale také drahý. Nejvhodnější je pro podniky, které jsou připraveny investovat do inovativních modelovacích projektů ve velkém měřítku.

Kromě virtuálních strojů, akcelerátorů a disků (v závislosti na typu a regionu) budete potřebovat také Cloud Storage.

Nejdůležitější jsou zde náklady na tréninkové úložiště, kde lze použít i BigQuery s vlastním cenovým modelem. Například prvních 10 GiB měsíčně pro datovou analytiku s AI a další účely máte zdarma.

Integrace Vertex AI a BigQuery: Feature Store

Vertex AI Feature Store je centralizované úložiště pro správu a zpracování příznaků (features) pro strojové učení.

Úložiště příznaků (feature stores) jsou základní součástí end-to-end infrastruktury MLOps na GCP. Umožňují týmům Data Science a ML urychlit cykly nasazení tím, že organizují příznaky napříč celou organizací.

Díky úložišti příznaků je snazší vytvářet, ukládat, sdílet, vyhledávat a poskytovat příznaky do ML aplikací.

BigQuery navíc může sloužit jako offline úložiště příznaků.

Organizace tak mohou využít svou stávající infrastrukturu, vyhnout se duplikaci dat pro AI analytiku a snížit náklady.

Týmy mohou také využívat BigQuery SQL pro feature engineering s vestavěným nastavením přístupu a kontroly.

Protože se BigQuery používá pro offline operace, budou vám účtovány operace jako načítání dat, spouštění dotazů a ukládání offline datových sad.

Například pokud používáte BigQuery Storage Write API v regionu europe-west4 (Nizozemsko), máte 2 TiB měsíčně zdarma. Nad tento rámec je cena 0,03 USD za každý další GiB.

Monitorování modelu

Vertex AI Model Monitoring umožňuje spouštět úlohy na vyžádání nebo naplánované úlohy pro sledování kvality tabulkových modelů.

Pokud jsou nastavena upozornění, systém vás upozorní, kdykoli metriky překročí předem definované prahové hodnoty.

Řekněme, že jste vytvořili prediktivní analytický model s AI pro sledování celoživotní hodnoty zákazníka (CLV). Po spuštění nového věrnostního programu se může stát, že původní příznaky již nebudou odrážet chování zákazníků. Tento typ změny se nazývá datový drift (data drift).

Monitorování modelu dokáže detekovat a upozornit vás, když drift překročí vaše prahové hodnoty. V tu chvíli může být potřeba přehodnotit nebo znovu natrénovat váš model pro datovou analytiku poháněný AI.

Cena činí 3,5 USD za GB analýzy, včetně trénovacích i predikčních dat uložených v tabulkách BigQuery.

Další poplatky se vztahují na ostatní produkty Google Cloud používané spolu se službou Model Monitoring, například úložiště BigQuery.

Příklad:

Tým Data Science spustí monitorování modelu natrénovaného na datech z BigQuery. Po převedení trénovacích dat do formátu TfRecord je jejich velikost 5,0 GB. Data predikce zaznamenaná mezi 10:00 a 11:00 mají celkovou velikost 0,5 GB a mezi 16:00 a 17:00 dalších 0,3 GB. Celkové náklady na nastavení monitorování modelu jsou:

(5,0 × 3,5 USD) + ((0,5 + 0,3) × 3,5 USD) = 20,3 USD

Mezi další komponenty Vertex AI, které spolupracují s BigQuery, patří Workbench, Deep Learning Containers, Deep Learning VMs a AI Platform Pipelines. Poplatky se účtují, pokud spouštíte dotazy SQL uvnitř konkrétního notebooku (kódový asset v BigQuery Studiu).

Gemini: Generativní AI pro datovou analytiku

Pokud jde o plné využití potenciálu AI v datové analytice, Gemini přidává inteligentní vrstvu nad BigQuery a Looker.

Od zjednodušení složitých dotazů a vizuálního zkoumání datových sad až po generování reportů a dashboardů pomocí příkazů v přirozeném jazyce, Gemini pomáhá týmům pracovat rychleji, činit chytřejší rozhodnutí a získat větší hodnotu z každého pracovního postupu.

Podívejme se, jak vylepšuje jednotlivé platformy a podporuje reálné operace.

BigQuery

Gemini v BigQuery přináší datovou analytiku poháněnou AI do vašeho datového skladu. Poskytuje inteligentní nástroje pro správu a optimalizaci pracovních zátěží v celém životním cyklu.

Gemini podporuje analytiky, inženýry, datové vědce a administrátory databází pomocí funkcí, jako je generování a automatické doplňování kódu v jazycích Python a SQL.

Díky převodu přirozeného jazyka na SQL můžete rychle vytvářet dotazy, urychlit vývoj a snadněji testovat.

Gemini také dokáže vysvětlit složité dotazy SQL v jednoduchém jazyce, takže jsou přístupnější.

Vyhledávání je vylepšeno o sémantické schopnosti. Můžete okamžitě najít správné tabulky, získat relevantní dotazy a spustit je jedním kliknutím.

Při migraci nebo transformaci na Google Cloud pomáhá Gemini překládat dotazy a omezit ruční nastavování datové analytiky s AI.

Rozhraní Data Canvas přidává vizuální způsob zkoumání. Můžete spustit analýzu na základě příkazů (například: „Najdi prodejní tabulky v Charkově“), poté odeslat výsledky do produkce, exportovat je pro další analýzu v BigQuery SQL nebo je sdílet prostřednictvím Lookeru, Looker Studia, Google Sheets nebo Google Slides.

Gemini také pomáhá s optimalizací nákladů na cloud a výkonem v každé fázi datového kanálu (pipeline). Tato vylepšení se přenášejí do následných pracovních postupů, ať už vytváříte dashboardy, ML modely nebo aplikace pro datovou analytiku s AI.

A neomezují se jen na SQL nebo Python. Profitují z nich i bezserverové datové kanály pro analytiku ve Sparku, což usnadňuje rychlé odhalení a opravu chyb.

Looker: Konverzační analytika

Gemini v Lookeru umožňuje snadno generovat reporty s grafy, nadpisy, tématy a rozvržením, a to vše z jednoduchého příkazu.

Získáte tak základní report, který můžete dále upravovat pomocí přirozeného jazyka. Představte si to jako vestavěného konzultanta pro Looker!

Pokročilý asistent umí také generovat kód JSON pro vlastní vizualizace, takže vytváření a úprava grafů je rychlejší.

Další užitečná funkce: automatické generování snímků. Reporty z datové analytiky poháněné AI lze exportovat do Google Slides s textovými vysvětlivkami, které zdůrazňují klíčové poznatky.

Můžete dokonce vytvářet vypočítaná pole bez nutnosti pamatovat si složité vzorce, což výrazně usnadňuje ad-hoc analýzy.

Ceny

Kompletní sada funkcí Gemini v BigQuery je k dispozici prostřednictvím standardního předplatného Gemini Code Assist. Cena je 22,80 USD za uživatele a měsíc, nebo 19,00 USD za uživatele a měsíc při ročním závazku.

Jsou dostupné také jako součást edic BigQuery Enterprise, Enterprise Plus a On-Demand Compute. Přesná cena se bude lišit v závislosti na slot-hodinách a lokalitě.

Všechny výše uvedené možnosti také podléhají specifickým kvótám.

Pokud jde o Gemini v Lookeru, je v současné době zdarma, i když se to může kdykoli změnit.

O nás

Jako Premier Partner poskytuje společnost Cloudfresh špičkové konzultační služby pro Google Cloud a pomáhá organizacím maximálně využít AI pro datovou analytiku.

Ať už jde o budování chytřejších pracovních postupů pomocí Gemini, trénování a nasazení modelů ve Vertex AI, využití dat v BigQuery nebo oživení poznatků pomocí Lookeru, získáte řešení odpovídající skutečným potřebám vaší firmy.

Tým Cloudfresh navrhuje škálovatelné, bezpečné a nákladově efektivní systémy od strategie až po implementaci, takže můžete postupovat rychleji, činit informovanější rozhodnutí a vytvářet trvalou hodnotu díky případům použití Google Cloud GenAI, které se přizpůsobují vašemu způsobu práce.

Chcete-li zahájit konverzaci, neváhejte vyplnit krátký formulář níže.