Мониторинг расходов, использования и других показателей ИИ-функций – важная часть работы с приложением. Вам нужно знать, как обычно используется ваше приложение, и следить за тем, чтобы не превышать важные для вас пороговые значения.
На этой странице описаны рекомендуемые способы отслеживания расходов, использования и других показателей в консолях Firebase и Google Cloud.
Как отслеживать расходы
На панели управления "Использование и оплата" в консоли Firebase можно посмотреть расходы проекта на вызовы Agent Platform Gemini API (formerly Vertex AI) и Gemini Developer API (если вы используете тарифный план Blaze).
Расходы, указанные на панели управления, не обязательно относятся к вызовам, выполненным с помощью клиентских SDK Firebase AI Logic. Показанные расходы связаны с любыми вызовами "Gemini API", независимо от того, используются ли клиентские SDK Firebase AI Logic, серверные SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, вызовы REST, одна из AI Studio или другие API-клиенты.
Подробнее о ценах на товары, связанные с использованием Firebase AI Logic…
Как настроить оповещения о расходовании бюджета и пределы расходов
Если вы используете тарифный план Blaze, настройте оповещения о бюджете и пределы расходов, чтобы избежать неожиданных счетов.
Обратите внимание, что оповещения о бюджете не являются ограничениями бюджета. Оповещения отправляются по электронной почте, когда расходы достигают определенных пороговых значений бюджета. Это позволяет вам вовремя принять меры в приложении или проекте. Чтобы сервис был приостановлен при достижении лимита бюджета, необходимо задать бюджет с пределом расходов.
Отслеживайте использование ИИ-функций в консоли Firebase
Вы можете включить мониторинг ИИ на странице Firebase AI Logic консоли Firebase, чтобы отслеживать различные показатели на уровне приложений и их использования и получать полную информацию о запросах от клиентских SDK Firebase AI Logic. Эти панели содержат более подробную информацию, чем базовые данные о количестве токенов, которые можно получить с помощью Count Tokens API.
Основные возможности мониторинга ИИ в консоли Firebase:
Просматривать количественные показатели, такие как объем запросов, задержка, ошибки и использование токенов для каждой модальности для каждого из ваших приложений.
Просматривать трассировки, чтобы видеть атрибуты, входные и выходные данные запросов. Это помогает отлаживать код и повышать качество.
Разбивать данные по таким параметрам, как статус запроса, минимальная задержка, название модели и т. д.
Все эти функции созданы на основе Google Cloud Observability Suite (подробнее о продукте…
Как включить мониторинг на основе ИИ
В консоли Firebase можно включить мониторинг на основе ИИ следующими способами:
При первоначальной настройке с помощью пошаговых инструкций на странице Сервисы на основе ИИ > Firebase AI Logic.
В любое время в разделе Сервисы ИИ > Логика ИИ > вкладка Настройки
Требования для включения и использования ИИ-мониторинга
Вы должны быть владельцем или редактором проекта или администратором Firebase Vertex AI.
В приложении должны использоваться как минимум следующие версии библиотек Firebase:
iOS: 11.13.0 или более поздняя | Android: 16.0.0 или более поздняя (BoM: 33.14.0 или более поздняя) | Web: 11.8.0 или более поздняя | Flutter: 2.0.0 или более поздняя (BoM: 3.11.0 или более поздняя) | Unity: 12.9.0 или более поздняяВ приложении должен быть включен сбор данных с согласия пользователя (по умолчанию он включен).
После того как ваше приложение будет соответствовать этим требованиям и вы включите мониторинг ИИ в консоли, вам не нужно будет выполнять никаких других действий в приложении или консоли, чтобы начать получать данные на панели управления в разделе Сервисы ИИ > Логика ИИ > вкладка Мониторинг ИИ. Телеметрия из запроса может появиться в консоли Firebase с небольшой задержкой (иногда до пяти минут).
Расширенные возможности
В этом разделе описана настройка частоты дискретизации, а также различные варианты просмотра и обработки данных.
Частота дискретизации
Если вы отправляете большое количество запросов, рекомендуем воспользоваться настройкой частоты выборки. Частота дискретизации показывает, для какой доли запросов собираются данные трассировки.
На вкладке Настройки в разделе Сервисы ИИ > Логика ИИ консоли Firebase можно задать частоту дискретизации для проекта в диапазоне от 1 до 100 %. При значении 100% ИИ-мониторинг будет собирать трассировки всего трафика. Значение по умолчанию – 100%. Если собирать меньше трассировок, расходы снизятся, но и отслеживать вы сможете меньше. Обратите внимание, что независимо от частоты дискретизации графики на панели мониторинга всегда будут отражать фактический объем трафика.
Дополнительные варианты вне консоли Firebase
Помимо мониторинга ИИ, доступного в консоли Firebase, можно использовать следующие варианты:
Изучите сад моделей Vertex AI.
Эти панели предоставляют дополнительную информацию о тенденциях задержки и пропускной способности для управляемых моделей, дополняя данные, полученные с помощью мониторинга ИИ в консоли Firebase.Изучайте и используйте свои данные с помощью Google Cloud Observability Suite
. Поскольку данные телеметрии для мониторинга ИИ хранятся в Google Cloud Observability Suite, связанном с вашим проектом, вы можете изучать свои данные на его панелях, в том числе Trace Explorer и Logs Explorer, на которые можно перейти при просмотре отдельных трассировок в консоли Firebase. Вы также можете использовать данные для создания собственных сводок, настройки оповещений и т. д.
Подробная информация о продуктах, используемых для мониторинга ИИ
При мониторинге ИИ данные телеметрии хранятся в различных продуктах, доступных в Google Cloud Observability Suite, включая Cloud Monitoring, Cloud Trace и Cloud Logging.
Cloud Monitoring – хранит показатели, в том числе количество запросов, долю успешных запросов и задержку запросов.
Cloud Trace – сохраняет трассировки для каждого запроса, чтобы вы могли просматривать их по отдельности, а не в агрегированном виде. Трассировка обычно связана с журналами, чтобы вы могли изучить контент и время каждого взаимодействия.
Cloud Logging: собирает метаданные о входных и выходных данных, а также конфигурации, чтобы предоставить подробную информацию о каждом элементе запроса к ИИ.
Поскольку данные телеметрии хранятся в этих продуктах, вы можете указать настройки хранения и доступа непосредственно в каждом из них. Подробнее об этом рассказывается в документации по Cloud Monitoring, Cloud Trace и Cloud Logging.
Обратите внимание, что при мониторинге ИИ фактические запросы и сгенерированные ответы из каждого выбранного запроса сохраняются в Cloud Logging, чтобы эти данные были доступны в консоли Firebase. При необходимости вы можете отключить сохранение запросов и ответов.
Цены
Проекты с бесплатным тарифным планом Spark (доступен только при использовании Gemini Developer API): использование базовых сервисов для мониторинга ИИ бесплатно.
Проекты с тарифным планом Blaze с оплатой по мере использования. С вас будет взиматься плата за использование базовых продуктов Google Cloud Observability Suite, которые применяются для мониторинга ИИ (независимо от выбранного вами поставщика Gemini API). Однако у каждого продукта Google Cloud Observability Suite есть бесплатные уровни. Подробнее о ценах на Google Cloud Observability Suite…
Как отключить сохранение запросов и ответов(необязательно)
По умолчанию при мониторинге ИИ регистрируются фактические запросы, отправленные модели, и ответы, сгенерированные моделью, включая конфиденциальную информацию (например, информацию, позволяющую идентифицировать личность) в этих запросах и ответах. Все эти данные хранятся в Cloud Logging, чтобы их можно было посмотреть в консоли Firebase.
Чтобы отключить хранение запросов и ответов, добавьте следующий фильтр "Исключить" в приемник Cloud Logging (обычно приемник _Default): resource.type="firebasevertexai.googleapis.com/Model"
Как посмотреть статистику API на уровне проекта в консоли Google Cloud
Для каждого API можно посмотреть статистику на уровне проекта, например данные об использовании, в Google Cloudконсоли.
Обратите внимание, что на страницах консоли Google Cloud, описанных в этом разделе, нет информации о контенте запросов и ответов, а также количестве токенов. Чтобы отслеживать такую информацию, попробуйте использовать мониторинг ИИ в консоли Firebase (см. предыдущий раздел).
В консоли Google Cloud перейдите на страницу Metrics (Показатели) нужного API:
Agent Platform API: просмотр данных об использовании, связанных с любым запросом к Agent Platform Gemini API (formerly Vertex AI).
- Включает запросы, отправленные с помощью клиентских SDK Firebase AI Logic, серверных SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, REST API, Agent Studio и т. д.
Gemini Developer API: посмотреть статистику, связанную с любым запросом к Gemini Developer API.
- Включает запросы, использующие клиентские SDK Firebase AI Logic, серверные SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, REST API, Google AI Studio и т. д.
- В консоли Google Cloud этот API называется Generative Language API.
Если вы перешли на обзорную страницу API, нажмите Manage (Управление), а затем выберите вкладку Metrics (Показатели).
Используйте раскрывающиеся меню, чтобы посмотреть нужные показатели, например трафик по коду ответа, ошибки по методу API, общую задержку и задержку по методу API.