Аналітика даних штучного інтелекту на хмарній платформі Google і скільки це коштує

Оригінал цієї статті за нашим авторством уперше з’явився на DOU. У чинній редакції її було доповнено та актуалізовано.

Сьогодні ми заглибимося в структуру витрат на аналітику даних за допомогою штучного інтелекту на Google Cloud Platform (GCP) — одному з найбільших постачальників хмарної інфраструктури за часткою ринку.

По-перше, варто зазначити, що на всіх офіційних ресурсах Google Cloud штучний інтелект (AI) і машинне навчання (ML) є нероздільними та розглядаються як єдина категорія.

Кількість пов’язаних продуктів коливається від 17 до 27, що свідчить про активне розширення лінійки Google відповідно до зростаючого попиту на нову функціональність.

Тут ми зосередимося на цінових аспектах двох основних продуктів GCP, а саме Vertex AI і Gemini, а також на інструментах ШІ-аналітики, таких як BigQuery та Looker.

Як глобальний партнер Google Cloud рівня Premier, ми зробимо все можливе, щоб відповісти на такі запитання:

• Чи зберігання навчальних даних для пошуку нейронних архітектур у BigQuery таке ж дороге, як і використання самого Vertex AI NAS?
• Скільки коштує використання BigQuery як офлайн-сховища ознак для машинного навчання (Vertex AI Feature Store)?
• Яка ціна надійності? Моніторинг моделей Vertex AI, що використовують дані для навчання та прогнозування, які зберігаються в BigQuery.
• Чи варта підписка на Gemini Code Assist своїх грошей? Погляньмо на конверсаційну аналітику в Looker та оптимізацію витрат у BigQuery.

Тож, почнімо!

ШІ-аналітика даних у дії

Кожен із наведених нижче прикладів використання демонструє, як організації в різних галузях використовують інструменти Google Cloud AI для розв’язання складних завдань, підвищення ефективності та створення нових можливостей.

Транспорт і мобільність

• Компанія Geotab використовує BigQuery та Vertex AI для щоденної обробки мільярдів точок даних з понад 4,6 мільйона транспортних засобів. Отримані результати сприяють розумнішому управлінню автопарком, безпечнішому водінню, декарбонізації транспорту та отриманню інсайтів, які допомагають містам ставати безпечнішими та стійкішими.

Фінанси та страхування

• Dojo щодня підтримує мільйони безпечних і швидких платежів. Завдяки моделям Looker і Gemini компанія тестує нові способи природної взаємодії бізнесу з платіжною інформацією.
• United Wholesale Mortgage трансформує процес іпотечного кредитування за допомогою Vertex AI, Gemini та BigQuery. Лише за дев’ять місяців компанія подвоїла продуктивність андеррайтерів, скоротивши час закриття кредитів для 50 000 брокерів та їхніх клієнтів.
• Hiscox створив першу модель андеррайтингу для страховиків на основі штучного інтелекту, використовуючи BigQuery та Vertex AI. Розрахунок складних ризиків, який раніше займав три дні, тепер триває лише кілька хвилин.
• MSCI, провідний видавець ринкових індексів та індикаторів, використовує Vertex AI, BigQuery та Cloud Run для збагачення інформації про майже мільйон місць розташування активів. Ці дані, підкріплені ШІ-аналітикою, допомагають клієнтам вимірювати та управляти ризиками, пов’язаними зі зміною клімату.
• Apex Fintech Solutions покладається на BigQuery, Looker та Google Kubernetes Engine, щоб розширити доступ до фінансової аналітики, спростити інвестування та підготуватися до інновацій на базі ШІ.
• 180 Seguros удосконалив свою внутрішню платформу даних за допомогою ШІ від Google Cloud та BigQuery. Тепер співробітники відстежують операційні показники за допомогою запитів, які виконуються втричі швидше.
• Aluga Mais, бразильський стартап у сфері оренди, використовує Vertex AI, Document AI та BigQuery для створення фінансових профілів клієнтів. Це прискорило аналіз реєстраційних даних з 90 хвилин до лише 24 секунд.

Роздрібна торгівля та споживчі товари

• Tchibo, європейський бренд кави та електронної комерції, використовує Vertex AI та BigQuery для прогнозування попиту. Його аналітичне рішення на базі ШІ, DEMON, робить понад шість мільйонів прогнозів на день, допомагаючи компанії управляти запасами, знижувати логістичні витрати та покращувати доступність продукції.
• Unilever оцифрував свою торговельну дистрибуцію за допомогою BigQuery. Зараз компанія обробляє 75 000 замовлень на день і обслуговує мільйони ритейлерів на ринках, що розвиваються.
• Gymshark, британський фітнес-бренд, створив єдину платформу даних за допомогою BigQuery, Looker, Dataflow і Vertex AI. Ця система забезпечує глибше розуміння клієнтів та персоналізований фітнес-досвід у великих масштабах.

Охорона здоров’я

• ARC Innovation у медичному центрі Sheba використовує Looker Studio та BigQuery ML для створення аналітичних рішень на базі ШІ, які покращують ухвалення критично важливих клінічних рішень при лікуванні раку яєчників.

Технології та послуги

• Bosch SDS зробив сталий розвиток основою своєї діяльності з Google Cloud. Використовуючи Kubernetes, BigQuery та Firebase, компанія створила когнітивний механізм на базі ШІ, який видає сповіщення в реальному часі. Результатом стало скорочення витрат на електроенергію на 12%, покращення комфорту в приміщеннях та активніше використання відновлюваних джерел.

Медіа та розваги

• Spotify співпрацює з Google Cloud, щоб опрацьовувати величезні обсяги даних за допомогою BigQuery для надання персоналізованого досвіду прослуховування для понад 675 мільйонів користувачів у всьому світі.

Ознайомтеся з іншими кейсами GCP.

Vertex AI

Коли йдеться про створення та управління моделями машинного навчання в Google Cloud, Vertex AI пропонує набір інструментів, що охоплює весь спектр — від пошуку найкращих нейронних архітектур до організації ознак та моніторингу продуктивності моделей.

Незалежно від того, чи експериментуєте ви з пошуком нейронних архітектур (NAS), централізуєте дані за допомогою Feature Store, або стежите за якістю моделі з Model Monitoring, ці інструменти дозволяють ефективно проєктувати, навчати та підтримувати системи ШІ-аналітики.

Розгляньмо детальніше, як працює кожен компонент, скільки коштує Vertex AI і як він інтегрується в реальний робочий процес машинного навчання.

Пошук нейронних архітектур (NAS)

Vertex AI Neural Architecture Search (NAS) — це інструмент для пошуку найточніших нейронних архітектур. Він дозволяє враховувати або ігнорувати такі обмеження, як затримка, обсяг пам’яті та власні метрики.

Завдяки можливості досліджувати простір пошуку розміром до 10^20, NAS допоміг створити передові моделі комп’ютерного зору, такі як Nasnet, MNasnet, EfficientNet, NAS-FPN та SpineNet.

Але NAS — це не готове рішення. Для його налаштування та тестування архітектурних параметрів, як-от розмір ядра або кількість каналів, потрібна спеціальна команда. Він найкраще підходить для випадків, коли традиційні методи, наприклад, налаштування гіперпараметрів, вже не дають покращень.

Не рекомендується використовувати NAS, якщо у вас обмежені або сильно незбалансовані дані, оскільки він покладається на широкомасштабні експерименти та доступність.

Наприклад, виконаємо кілька тестових завдань, використовуючи попередньо налаштований простір пошуку і трейнер MNasNet.

На графіку ви побачите, що найкраща винагорода на першому етапі зростає з приблизно 0,30 у першому випробуванні до приблизно 0,37 у сімнадцятому. Ваші результати можуть дещо відрізнятися через випадковість вибірки, але ви все одно помітите тенденцію до зростання.

Майте на увазі, що це лише тестовий запуск, а не підтвердження концепції (PoC) чи публічний бенчмарк для аналітики даних на основі ШІ.

• Усього випробувань: 25
• GPU на одне випробування: 2
• Тип GPU: TESLA_T4
• CPU на одне випробування: 1
• Тип CPU: n1-highmem-16
• Середній час навчання на одне випробування: 3 години
• Паралельних випробувань: 6
• Загальна використана квота GPU: (кількість GPU на випробування × кількість паралельних випробувань) = 2 × 6 = 12
• Регіон: us-central1 (навчальні дані зберігаються в тому ж регіоні; додаткова квота не потрібна)
• Час виконання: (усього випробувань × час навчання на випробування) ÷ (кількість паралельних випробувань) = (25 × 3) ÷ 6 = 12,5 годин
• Виражено в годинах роботи GPU: (усього випробувань × час навчання на випробування × кількість GPU на випробування) = 25 × 3 × 2 = 150 годин TESLA_T4
• Виражено в годинах роботи CPU: (усього випробувань × час навчання на випробування × кількість CPU на випробування) = 25 × 3 × 1 = 75 годин n1-highmem-16

Орієнтовна вартість становить близько 185 доларів США. Звісно, ви можете зупинити процес раніше, щоб скоротити витрати.

Гнучкість NAS робить його потужним, але й дорогим інструментом. Він найкраще підходить для підприємств, які готові інвестувати в інноваційні проєкти з моделювання у великих масштабах.

Окрім віртуальних машин, прискорювачів і дисків (залежно від типу та регіону), вам також знадобиться Cloud Storage.

Найважливішим тут є вартість сховища для навчання, де також можна використовувати BigQuery з власною моделлю ціноутворення. Наприклад, перші 10 гібібайтів на місяць є безкоштовними для ШІ-аналітики та інших цілей.

Інтеграція Vertex AI та BigQuery: Feature Store

Vertex AI Feature Store — це централізоване сховище для управління та обробки ознак машинного навчання.

Сховища ознак є основною частиною наскрізної інфраструктури MLOps на GCP. Вони дозволяють командам Data Science та ML прискорювати цикли розгортання, організовуючи ознаки в межах усієї компанії.

Завдяки сховищу ознак легше створювати, зберігати, ділитися, шукати та надавати ознаки для ML-застосунків.

Крім того, BigQuery може слугувати як офлайн-сховище ознак.

Це означає, що організації можуть використовувати наявну інфраструктуру, уникати дублювання даних для ШІ-аналітики та скорочувати витрати.

Команди також можуть використовувати BigQuery SQL для інжинірингу ознак за допомогою вбудованих налаштувань доступу та контролю.

Оскільки BigQuery використовується для офлайн-операцій, вам буде виставлено рахунок за такі дії, як завантаження даних, виконання запитів і зберігання офлайн-датасетів.

Наприклад, якщо ви використовуєте BigQuery Storage Write API у регіоні europe-west4 (Нідерланди), то отримуєте 2 тебібайти на місяць безкоштовно. Понад цей ліміт вартість становить 0,03 долара США за кожен додатковий гібібайт.

Моніторинг моделей

Vertex AI Model Monitoring дозволяє запускати завдання на вимогу або за розкладом для відстеження якості табличних моделей.

Якщо ви налаштували сповіщення, система повідомлятиме вас щоразу, коли показники перетинатимуть заздалегідь визначені порогові значення.

Припустімо, ви створили предиктивну аналітичну модель для відстеження довічної цінності клієнта (CLV). Після запуску нової програми лояльності початкові ознаки можуть більше не відображати поведінку клієнтів. Цей тип змін відомий як дрейф даних.

Model Monitoring може виявити та попередити вас, коли дрейф перевищить встановлені порогові значення. У такому разі вам може знадобитися переоцінити або перенавчити вашу модель аналізу даних на основі ШІ.

Ціна становить 3,50 долара США за ГБ аналізу, що включає як навчальні, так і прогнозні дані, які зберігаються в таблицях BigQuery.

За інші продукти Google Cloud, що використовуються разом із Model Monitoring, наприклад, сховище BigQuery, стягується додаткова плата.

Приклад:

Команда Data Science запускає моніторинг для моделі, навченої на даних з BigQuery. Після перетворення навчальних даних у формат TfRecord їхній розмір становить 5,0 ГБ. Дані для прогнозування, записані між 10:00 та 11:00, становлять 0,5 ГБ, а між 16:00 та 17:00 — ще 0,3 ГБ. Загальна вартість налаштування моніторингу моделі становить:

(5,0 × 3,5 долара США) + ((0,5 + 0,3) × 3,5 долара США) = 20,3 долара США

Інші компоненти Vertex AI, які працюють з BigQuery, — Workbench, Deep Learning Containers, Deep Learning VMs та AI Platform Pipelines. Плата стягується, якщо ви виконуєте SQL-запити всередині певного записника (ресурсу коду в BigQuery Studio).

Gemini: Генеративний ШІ для аналізу даних

Коли йдеться про реалізацію повного потенціалу ШІ в аналітиці даних, Gemini додає інтелектуальний рівень до BigQuery та Looker.

Від спрощення складних запитів та візуального дослідження наборів даних до генерації звітів і дашбордів за допомогою підказок природною мовою, Gemini допомагає командам працювати швидше, доходити розумніших висновків та отримувати більше користі від кожного робочого процесу.

Погляньмо, як він покращує кожну платформу та підтримує реальні операції.

BigQuery

Gemini у BigQuery інтегрує ШІ-аналітику у ваше сховище даних. Він надає розумні інструменти для управління та оптимізації робочих навантажень протягом усього життєвого циклу.

Gemini підтримує аналітиків, інженерів, фахівців Data Science та адміністраторів баз даних за допомогою таких функцій, як генерація та автозавершення коду на Python та SQL.

Завдяки перетворенню запитів з природної мови на SQL, ви можете швидко створювати запити, прискорювати розробку та легше тестувати.

Gemini також може пояснювати складні SQL-запити простою мовою, роблячи їх доступнішими.

Пошук розширюється завдяки семантичним можливостям. Ви можете миттєво знаходити потрібні таблиці, вибирати відповідні запити та запускати їх в один клік.

Для міграції в Google Cloud або трансформації за його допомогою, Gemini допомагає перекладати запити та зменшувати обсяг ручного налаштування ШІ-аналітики.

Інтерфейс Data Canvas додає візуальний спосіб дослідження. Ви можете запускати аналіз на основі підказок (наприклад: «Знайти таблиці продажів у Харкові»), а потім передавати результати у прод, експортувати їх для подальшого аналізу в BigQuery SQL або ділитися ними через Looker, Looker Studio, Google Sheets чи Google Slides.

Gemini також допомагає з оптимізацією хмарних витрат та продуктивності на кожному етапі пайплайну. Ці покращення поширюються на подальші робочі процеси, незалежно від того, створюєте ви дашборди, ML-моделі чи застосунки для ШІ-аналітики.

І вони не обмежуються лише SQL або Python. Безсерверні конвеєри аналізу даних на Spark також отримують переваги, що полегшує виявлення та швидке виправлення помилок.

Looker: Розмовна аналітика

Gemini в Looker дозволяє легко створювати звіти з діаграмами, заголовками, темами та макетами — і все це за допомогою простого промпту.

Ви отримуєте базовий звіт, який можна далі налаштовувати за допомогою природної мови. Вважайте це вбудованим консультантом з Looker!

Просунутий асистент також може генерувати JSON-код для кастомних візуалізацій, тому створення та налаштування діаграм відбувається швидше.

Ще одна корисна функція — автоматична генерація слайдів. Звіти з ШІ-аналітики можна експортувати в Google Slides з текстовими поясненнями, які висвітлюють ключові інсайти.

Ви навіть можете створювати обчислювані поля, не запам’ятовуючи складні формули, що значно спрощує ad-hoc-аналіз.

Ціни

Повний набір функцій Gemini в BigQuery доступний за підпискою Gemini Code Assist Standard. Ціна становить 22,80 долара США за користувача на місяць або 19,00 доларів США за користувача на місяць при річному зобов’язанні.

Вони також доступні в складі редакцій BigQuery Enterprise, Enterprise Plus та On-Demand Compute. Точна ціна залежить від кількості слот-годин і регіону.

На всі перераховані вище варіанти також поширюються певні квоти.

Що стосується Gemini в Looker, наразі функція надається безкоштовно, хоча це може змінитися в будь-який час.

Про нас

Як Premier Partner, Cloudfresh надає першокласні консалтингові послуги з Google Cloud і допомагає організаціям максимально ефективно використовувати ШІ для аналізу даних.

Незалежно від того, чи йдеться про створення розумніших робочих процесів з Gemini, навчання та розгортання моделей на Vertex AI, перетворення даних на практичні рішення в BigQuery або втілення ідей у життя за допомогою Looker, ви отримуєте рішення, що відповідає реальним потребам бізнесу.

Від стратегії до реалізації — команда Cloudfresh проєктує масштабовані, безпечні та економічно ефективні системи, щоб ви могли рухатися швидше, ухвалювати більш обґрунтовані рішення та створювати довгострокову цінність за допомогою таких кейсів використання Google Cloud GenAI, що адаптуються до вашого стилю роботи.

Щоб розпочати, будь ласка, заповніть коротку форму нижче.