Аналитика данных ИИ на Google Cloud Platform и ее стоимость

В сегодняшней статье мы разберем структуру ценообразования на ИИ-аналитику данных в Google Cloud Platform (GCP) — одном из крупнейших поставщиков облачной инфраструктуры по доле рынка.

Прежде всего, стоит отметить, что на всех официальных ресурсах Google Cloud искусственный интеллект (AI) и машинное обучение (ML) неразделимы и рассматриваются как единая категория.

Количество сопутствующих продуктов варьируется от 17 до 27, что говорит об активном расширении линейки Google в ответ на растущий спрос на новую функциональность.

Здесь мы сосредоточимся на ценовых аспектах двух ключевых продуктов GCP — Vertex AI и Gemini, а также таких инструментов ИИ-аналитики, как BigQuery и Looker.

Как глобальный партнер Google Cloud уровня Premier, мы сделаем все возможное, чтобы ответить на следующие вопросы:

• Настолько ли дорого хранить обучающие данные для поиска нейронной архитектуры в BigQuery, как запуск самого Vertex AI NAS?
• Во сколько обойдется использование BigQuery в качестве офлайн-хранилища признаков для машинного обучения (Vertex AI Feature Store)?
• Какова цена мониторинга моделей Vertex AI, когда данные для обучения и прогнозирования хранятся в BigQuery?
• Стоит ли своих денег подписка на Gemini Code Assist? Рассмотрим диалоговую аналитику в Looker и оптимизацию затрат в BigQuery.

Давайте начнем!

ИИ-аналитика данных в действии

Каждый из кейсов ниже показывает, как организации из совершенно разных отраслей используют инструменты Google Cloud AI для решения сложных задач, повышения эффективности и создания новых возможностей.

Транспорт и мобильность

• Geotab использует BigQuery и Vertex AI для ежедневной обработки миллиардов точек данных от более чем 4,6 миллиона автомобилей. Результаты помогают оптимизировать управление автопарком, повысить безопасность вождения, декарбонизировать транспорт и получить инсайты, которые делают города безопаснее и экологичнее.

Финансы и страхование

• Dojo ежедневно обрабатывает миллионы безопасных и быстрых платежей. С помощью моделей Looker и Gemini компания тестирует новые способы взаимодействия бизнеса с платежной информацией в режиме диалога.
• United Wholesale Mortgage трансформирует процесс ипотечного кредитования с помощью Vertex AI, Gemini и BigQuery. Всего за девять месяцев компания удвоила производительность андеррайтеров, сократив время оформления кредитов для 50 000 брокеров и их клиентов.
• Hiscox создал первую ИИ-модель для андеррайтинга лидов в страховании, используя BigQuery и Vertex AI. Расчет котировок по сложным рискам, который раньше занимал три дня, теперь занимает считанные минуты.
• MSCI, ведущий издатель рыночных индексов и индикаторов, использует Vertex AI, BigQuery и Cloud Run для обогащения информации о местоположении почти миллиона активов. Эти инсайты, подкрепленные ИИ-аналитикой, помогают клиентам измерять и управлять климатическими рисками.
• Apex Fintech Solutions использует BigQuery, Looker и Google Kubernetes Engine для расширения доступа к финансовой аналитике, упрощения инвестирования и подготовки к инновациям на базе AI.
• 180 Seguros усовершенствовал свою внутреннюю платформу данных с помощью ИИ от Google Cloud и BigQuery. Теперь сотрудники отслеживают операционные метрики, а запросы выполняются в три раза быстрее.
• Aluga Mais, бразильский стартап в сфере аренды, использует Vertex AI, Document AI и BigQuery для создания финансовых профилей клиентов. Это позволило ускорить анализ регистрационных данных с 90 минут до всего 24 секунд.

Розничная торговля и потребительские товары

• Tchibo, европейский кофейный бренд и e-commerce-компания, использует Vertex AI и BigQuery для прогнозирования спроса. Их решение для ИИ-аналитики, DEMON, генерирует более шести миллионов прогнозов в день, помогая компании управлять запасами, снижать логистические издержки и улучшать доступность товаров.
• Unilever оцифровал свою торговую дистрибуцию с помощью BigQuery. Теперь компания обрабатывает 75 000 заказов в день и обслуживает миллионы ритейлеров на развивающихся рынках.
• Gymshark, британский фитнес-бренд, создал единую платформу данных с помощью BigQuery, Looker, Dataflow и Vertex AI. Эта система обеспечивает глубокое понимание клиентов и позволяет масштабировать персонализированный фитнес-опыт.

Здравоохранение

• ARC Innovation в медицинском центре Sheba использует Looker Studio и BigQuery ML для создания ИИ-решений, которые помогают принимать критически важные клинические решения при лечении рака яичников.

Технологии и услуги

• Bosch SDS сделал устойчивое развитие основой своей деятельности с помощью Google Cloud. Используя Kubernetes, BigQuery и Firebase, компания создала когнитивный движок на базе AI, который отправляет оповещения в реальном времени. В результате удалось сократить расходы на электроэнергию на 12%, улучшить комфорт в помещениях и активнее использовать возобновляемые источники.

Медиа и развлечения

• Spotify сотрудничает с Google Cloud, чтобы обрабатывать гигантские объемы информации и предоставлять персонализированный опыт прослушивания более чем 675 миллионам пользователей по всему миру.

Ознакомьтесь с другими кейсами GCP.

Vertex AI

Когда речь идет о создании и управлении моделями машинного обучения в Google Cloud, Vertex AI предлагает набор инструментов, который охватывает весь цикл — от поиска лучших нейронных архитектур до организации признаков и мониторинга производительности моделей.

Экспериментируете ли вы с поиском нейронной архитектуры (Neural Architecture Search, NAS), централизуете данные о признаках с помощью Feature Store или следите за качеством моделей через Model Monitoring, эти инструменты позволяют эффективно проектировать, обучать и поддерживать системы ИИ-аналитики.

Давайте подробнее рассмотрим, как работает каждый компонент, сколько стоит Vertex AI и как он вписывается в реальный ML-воркфлоу.

Поиск нейронной архитектуры (Neural Architecture Search, NAS)

Vertex AI Neural Architecture Search (NAS) — это инструмент для поиска наиболее точных нейронных архитектур. Он позволяет учитывать или игнорировать такие ограничения, как задержка, объем памяти и пользовательские метрики.

Благодаря возможности исследовать пространство поиска размером до 10^20, NAS помог создать такие передовые модели компьютерного зрения, как Nasnet, MNasnet, EfficientNet, NAS-FPN и SpineNet.

Однако NAS не является готовым решением. Для его настройки и тестирования архитектурных параметров, таких как размер ядра или количество каналов, требуется выделенная команда. Он лучше всего подходит для случаев, когда традиционные методы, вроде настройки гиперпараметров, уже не приносят улучшений.

Не рекомендуется использовать NAS, если у вас ограниченный или сильно несбалансированный набор данных, поскольку он требует масштабных экспериментов и доступности.

Например, давайте запустим несколько тестовых заданий, используя предварительно настроенное пространство поиска и трейнер MNasNet.

На графике вы увидите, что лучшее вознаграждение на первом этапе возрастает с примерно 0,30 в первой попытке до примерно 0,37 к 17-й. Ваши результаты могут немного отличаться из-за случайности выборки, но вы все равно должны заметить восходящий тренд.

Имейте в виду, что это всего лишь тестовый запуск, а не доказательство концепции (PoC) или публичный бенчмарк для ИИ-аналитики.

• Всего запусков: 25
• GPU на запуск: 2
• Тип GPU: TESLA_T4
• CPU на запуск: 1
• Тип CPU: n1-highmem-16
• Среднее время обучения на один запуск: 3 часа
• Параллельных запусков: 6
• Общая использованная квота GPU: (кол-во GPU на запуск × кол-во параллельных запусков) = 2 × 6 = 12
• Регион: us-central1 (данные для обучения хранятся в том же регионе; дополнительная квота не требуется)
• Время выполнения: (всего запусков × время обучения на запуск) ÷ (кол-во параллельных запусков) = (25 × 3) ÷ 6 = 12 часов
• В часах GPU: (всего запусков × время обучения на запуск × кол-во GPU на запуск) = 25 × 3 × 2 = 150  часов TESLA_T4
• В часах CPU: (всего запусков × время обучения на запуск × кол-во CPU на запуск) = 25 × 3 × 1 = 75 часов n1-highmem-16

Ориентировочная стоимость составляет около $185. Конечно, вы можете остановить процесс раньше, чтобы сократить расходы.

Гибкость NAS делает его мощным, но и дорогим. Он лучше всего подходит для предприятий, готовых инвестировать в инновационные проекты по моделированию в больших масштабах.

Помимо виртуальных машин, ускорителей и дисков (в зависимости от типа и региона), вам также понадобится Cloud Storage.

Наиболее важным здесь является стоимость хранилища для обучающих данных, где BigQuery также может использоваться со своей собственной моделью ценообразования. Например, первые 10 ГиБ в месяц для ИИ-аналитики и других целей предоставляются бесплатно.

Интеграция Vertex AI и BigQuery: Feature Store

Vertex AI Feature Store — это централизованное хранилище для управления и обработки признаков машинного обучения.

Хранилища признаков являются ключевой частью сквозной MLOps-инфраструктуры в GCP. Они позволяют командам Data Science и ML ускорять циклы развертывания, организуя признаки в рамках всей компании.

С помощью хранилища признаков становится проще создавать, хранить, делиться, искать и предоставлять признаки для ML-приложений.

Кроме того, BigQuery может служить в качестве офлайн-хранилища признаков.

Это означает, что организации могут использовать существующую инфраструктуру, избегать дублирования данных для ИИ-аналитики и сокращать расходы.

Команды также могут использовать BigQuery SQL для инжиниринга признаков со встроенными настройками доступа и контроля.

Поскольку BigQuery используется для офлайн-операций, вам будет выставляться счет за такие действия, как загрузка данных, выполнение запросов и хранение офлайн-датасетов.

Например, если вы используете BigQuery Storage Write API в регионе europe-west4 (Нидерланды), вы получаете 2 ТиБ в месяц бесплатно. Сверх этого лимита стоимость составляет $0,03 за каждый дополнительный ГиБ.

Мониторинг моделей

Vertex AI Model Monitoring позволяет запускать задания по запросу или по расписанию для отслеживания качества табличных моделей.

Если настроены оповещения, система уведомит вас, когда метрики пересекут заранее определенные пороговые значения.

Допустим, вы создали предиктивную модель для отслеживания пожизненной ценности клиента (Customer Lifetime Value, CLV). После запуска новой программы лояльности исходные признаки могут перестать отражать поведение клиентов. Такое изменение известно как дрейф данных.

Model Monitoring может обнаружить и предупредить вас, когда дрейф превысит пороговые значения. В этот момент может потребоваться переоценка или переобучение вашей ИИ-модели.

Стоимость составляет $3,5 за ГБ анализируемых данных, включая данные для обучения и прогнозирования, хранящиеся в таблицах BigQuery.

За другие продукты Google Cloud, используемые вместе с Model Monitoring (например, хранилище BigQuery), взимается дополнительная плата.

Пример:

Команда Data Science запускает мониторинг для модели, обученной на данных из BigQuery. После преобразования обучающих данных в формат TfRecord их размер составляет 5,0 ГБ. Данные прогнозирования, записанные с 10:00 до 11:00, занимают 0,5 ГБ, а с 16:00 до 17:00 — еще 0,3 ГБ. Общая стоимость настройки мониторинга модели составляет:

(5,0 × $3,5) + ((0,5 + 0,3) × $3,5) = $20,3

Другие компоненты Vertex AI, работающие с BigQuery, включают Workbench, Deep Learning Containers, Deep Learning VMs и AI Platform Pipelines. Плата взимается, если вы выполняете SQL-запросы внутри определенного блокнота (ресурс кода в BigQuery Studio).

Gemini: Генеративный ИИ для аналитики данных

Когда речь идет о реализации полного потенциала AI в аналитике данных, Gemini добавляет интеллектуальный слой поверх BigQuery и Looker.

От упрощения сложных запросов и визуального исследования наборов данных до генерации отчетов и дашбордов с помощью подсказок на естественном языке — Gemini помогает командам работать быстрее, принимать более взвешенные решения и извлекать больше пользы из каждого рабочего процесса.

Давайте посмотрим, как он улучшает каждую платформу и поддерживает реальные операции.

BigQuery

Gemini в BigQuery интегрирует ИИ-аналитику в ваше хранилище данных. Он предоставляет интеллектуальные инструменты для управления и оптимизации рабочих нагрузок на протяжении всего их жизненного цикла.

Gemini поддерживает аналитиков, инженеров, специалистов Data Science и администраторов баз данных с помощью таких функций, как генерация и автодополнение кода на Python и SQL.

С помощью функции преобразования запросов с естественного языка в SQL вы можете быстро создавать запросы, ускорять разработку и упрощать тестирование.

Gemini также может объяснять сложные SQL-запросы простым языком, делая их более доступными.

Поиск улучшен благодаря семантическим возможностям. Вы можете мгновенно находить нужные таблицы, извлекать релевантные запросы и запускать их в один клик.

При миграции в Google Cloud или трансформации с его помощью Gemini помогает переводить запросы и сокращать объем ручной настройки ИИ-аналитики.

Интерфейс Data Canvas предлагает визуальный способ исследования данных. Вы можете выполнять анализ на основе подсказок (например, «Найди таблицы продаж в Харькове»), а затем отправлять результаты в продакшн, экспортировать их для дальнейшего анализа в BigQuery SQL или делиться ими через Looker, Looker Studio, Google Sheets или Google Slides.

Gemini также помогает с оптимизацией облачных затрат и производительности на каждом этапе конвейера данных. Эти улучшения распространяются на дальнейшие рабочие процессы, будь то создание дашбордов, ML-моделей или приложений для ИИ-аналитики.

И они не ограничиваются SQL или Python. Бессерверные конвейеры аналитики данных на Spark также выигрывают, позволяя быстрее находить и исправлять ошибки.

Looker: Диалоговая аналитика

Gemini в Looker позволяет легко генерировать отчеты с диаграммами, заголовками, темами и макетами — все это по простому промпту.

Вы получаете базовый отчет, который можно дорабатывать с помощью естественного языка. Считайте это встроенным консультантом по Looker!

Продвинутый ассистент также может генерировать JSON-код для кастомных визуализаций, что ускоряет создание и настройку графиков.

Еще одна полезная функция — автоматическая генерация слайдов. Отчеты ИИ-аналитики можно экспортировать в Google Slides с текстовыми пояснениями, которые подчеркивают ключевые инсайты.

Вы даже можете создавать вычисляемые поля, не запоминая сложные формулы, что значительно упрощает ad-hoc-анализ.

Цены

Полный набор функций Gemini в BigQuery доступен по стандартной подписке Gemini Code Assist. Стоимость составляет $22,80 за пользователя в месяц или $19,00 за пользователя в месяц при годовом обязательстве.

Эти функции также доступны в рамках редакций BigQuery Enterprise, Enterprise Plus и On-Demand Compute. Точная цена будет зависеть от количества слот-часов и региона.

Все вышеперечисленные варианты также имеют определенные квоты.

Что касается Gemini в Looker, на данный момент он предоставляется бесплатно, хотя это может измениться в любой момент.

О нас

Как Premier Partner, Cloudfresh предоставляет первоклассные консалтинговые услуги по Google Cloud и помогает организациям максимально эффективно использовать AI в аналитике данных.

Будь то создание интеллектуальных рабочих процессов с Gemini, обучение и развертывание моделей в Vertex AI, работа с данными в BigQuery или визуализация инсайтов с помощью Looker, вы получаете решение, отвечающее реальным потребностям вашего бизнеса.

От стратегии до внедрения команда Cloudfresh проектирует масштабируемые, безопасные и экономически эффективные системы, чтобы вы могли работать быстрее, принимать более обоснованные решения и создавать долгосрочную ценность с помощью тех кейсов использования Google Cloud GenAI, что адаптируются к вашим рабочим процессам.

Чтобы начать, заполните короткую форму ниже.