Отслеживание расходов, использования и других показателей ИИ-функций – важная часть работы приложения. Вам необходимо знать, как выглядит нормальное использование вашего приложения, и следить за тем, чтобы не превышать установленные пороговые значения.
На этой странице описаны рекомендуемые варианты отслеживания расходов, использования и других показателей в консолях Firebase и Google Cloud.
Отслеживание расходов
На панели управления Использование и оплата в консоли Firebase можно посмотреть расходы проекта на вызовы Agent Platform Gemini API (formerly Vertex AI) и Gemini Developer API (если вы используете тарифный план Blaze).
Расходы, указанные на панели управления, не обязательно относятся к вызовам, в которых используются клиентские SDK Firebase AI Logic. Показанные расходы связаны с любыми вызовами этих Gemini API, независимо от того, используются ли клиентские SDK Firebase AI Logic, серверные SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, вызовы REST, одна из AI Studio или другие API-клиенты.
Подробнее о ценах на продукты, связанные с использованием Firebase AI Logic…
Как настроить оповещения о бюджете и пределы расходов
Если вы используете тарифный план Blaze, настройте оповещения о бюджете и пределы расходов, чтобы избежать непредвиденных расходов.
Обратите внимание, что оповещения о бюджете не являются ограничениями бюджета. Оповещения будут отправлять вам предупреждения по электронной почте, когда ваши расходы достигнут определенных пороговых значений вашего бюджета, чтобы вы могли предпринять действия в своем приложении или проекте. Если вы хотите, чтобы работа сервиса приостанавливалась при достижении лимита, вам нужно задать бюджет с пределом расходов.
Отслеживайте использование ИИ-функций в консоли Firebase
Вы можете включить ИИ-мониторинг на странице Firebase AI Logic в консоли Firebase, чтобы отслеживать различные показатели и использование на уровне приложения и получать подробные сведения о запросах из клиентских SDK Firebase AI Logic. Эти панели управления более подробные, чем базовые счетчики токенов, которые вы получаете при вызове Count Tokens API.
Основные возможности ИИ-мониторинга в консоли Firebase:
Просмотр количественных показателей, таких как объем запросов, задержка, ошибки и использование токенов для каждой модальности в каждом из ваших приложений.
Просматривать трассировки, чтобы изучать атрибуты, входные и выходные данные запросов. Это помогает устранять неполадки и повышать качество.
Разбивка данных по таким параметрам, как статус запроса, минимальная задержка, название модели и т. д.
Все эти функции созданы на основе Google Cloud Observability Suite (см. подробную информацию о продукте ниже).
Включить ИИ-мониторинг
Вот как можно включить ИИ-мониторинг в консоли Firebase:
Когда вы будете выполнять первоначальную настройку на странице Сервисы ИИ > Firebase AI Logic,
В любое время на вкладке Сервисы ИИ > Логика ИИ > Настройки.
Требования для включения и использования ИИ-мониторинга
Вы должны быть владельцем или редактором проекта или администратором Firebase Vertex AI.
В вашем приложении должны использоваться как минимум следующие версии библиотек Firebase:
iOS+: 11.13.0+ | Android: 16.0.0+ (BoM: 33.14.0+) | Web: 11.8.0+ | Flutter: 2.0.0+ (BoM: 3.11.0+) | Unity: 12.9.0+В приложении должен быть включен сбор данных на основе согласия (включен по умолчанию).
После того как вы выполните эти требования и включите ИИ-мониторинг в консоли, вам больше ничего не нужно будет делать в приложении или консоли, чтобы данные начали появляться на вкладке ИИ-сервисы > ИИ-логика > ИИ-мониторинг. Телеметрия запроса может появиться в консоли Firebase с небольшой задержкой (иногда до пяти минут).
Дополнительные возможности
В этом разделе описывается настройка частоты дискретизации, а также различные варианты просмотра данных и работы с ними.
Частота дискретизации
Если вы отправляете большое количество запросов, рекомендуем использовать конфигурацию частоты дискретизации. Частота дискретизации указывает на долю запросов, для которых собираются сведения о трассировке.
В консоли Firebase на вкладке AI Services (ИИ-сервисы) > AI Logic (ИИ-логика) > Settings (Настройки) можно задать частоту дискретизации для проекта в диапазоне от 1 до 100 %. Если выбрать 100 %, ИИ-мониторинг будет собирать трассировки для всего трафика. Значение по умолчанию – 100%. Сбор меньшего количества трассировок снизит ваши затраты, но также уменьшит количество трассировок, которые вы можете отслеживать. Обратите внимание, что независимо от частоты дискретизации на графиках в панели мониторинга всегда будет отражен истинный объем трафика.
Дополнительные возможности вне консоли Firebase
Помимо ИИ-мониторинга, доступного в консоли Firebase, вы можете использовать следующие инструменты:
Изучите Vertex AI Model Garden.
Эти панели предоставляют дополнительную информацию о тенденциях задержки и пропускной способности управляемых моделей, дополняя данные ИИ-мониторинга в консоли Firebase.Изучайте и используйте свои данные с помощью Google Cloud Observability Suite
Поскольку данные телеметрии для ИИ-мониторинга хранятся в Google Cloud Observability Suite, связанном с вашим проектом, вы можете изучать свои данные на его панелях управления, включая Trace Explorer и Logs Explorer, ссылки на которые приводятся, когда вы проверяете отдельные трассировки в консоли Firebase. Вы также можете использовать свои данные для создания настраиваемых сводок, настройки оповещений и многого другого.
Подробная информация о продуктах, используемых для ИИ-мониторинга
ИИ-мониторинг хранит данные телеметрии в различных продуктах, доступных в Google Cloud Observability Suite, включая Cloud Monitoring, Cloud Trace и Cloud Logging.
Cloud Monitoring – хранит показатели, включая количество запросов, долю успешных запросов и задержку запросов.
Cloud Trace – хранит трассировки для каждого запроса, чтобы вы могли просматривать сведения по отдельности, а не в агрегированном виде. Трассировка обычно связана с журналами, поэтому вы можете изучить содержимое и время каждого взаимодействия.
Cloud Logging: фиксирует входные и выходные данные, а также метаданные конфигурации, чтобы предоставить подробную информацию о каждой части вашего ИИ-запроса.
Поскольку данные телеметрии хранятся в этих продуктах, вы можете задать настройки хранения и доступа непосредственно в каждом из них. Подробную информацию можно найти в документации по Cloud Monitoring, Cloud Trace и Cloud Logging.
Обратите внимание, что ИИ-мониторинг сохраняет фактические запросы и сгенерированные выходные данные из каждого выбранного запроса в Cloud Logging, чтобы эти данные были доступны в консоли Firebase. При желании вы можете отключить хранение запросов и ответов.
Цены
Проекты с бесплатным тарифным планом Spark (доступно только при использовании Gemini Developer API): использование базовых сервисов для ИИ-мониторинга бесплатно.
Проекты с тарифным планом Blaze с оплатой по мере использования. С вас будет взиматься плата за использование базовых продуктов Google Cloud Observability Suite, которые применяются для ИИ-мониторинга (независимо от выбранного поставщика Gemini API). Однако для каждого продукта Google Cloud Observability Suite предусмотрены бесплатные уровни. Подробные сведения можно найти в документации по ценам на Google Cloud Observability Suite.
(Необязательно) Как отключить хранение запросов и ответов
По умолчанию ИИ-мониторинг фиксирует фактические запросы, отправленные модели, и ответы, сгенерированные моделью, включая любую конфиденциальную информацию (например, информацию, позволяющую идентифицировать личность) в этих запросах и ответах. Все эти данные хранятся в Cloud Logging, поэтому они доступны в консоли Firebase.
Чтобы отключить хранение запросов и ответов, добавьте следующий фильтр исключений в приемник Cloud Logging (обычно это приемник _Default): resource.type="firebasevertexai.googleapis.com/Model"
Просмотр показателей API на уровне проекта в консоли Google Cloud
Для каждого API можно посмотреть показатели на уровне проекта, например использование, в консоли Google Cloud.
Обратите внимание, что на страницах консоли Google Cloud, описанных в этом разделе, не содержится такая информация, как контент запроса и ответа, а также количество токенов. Чтобы отслеживать такую информацию, используйте ИИ-мониторинг в консоли Firebase (см. предыдущий раздел).
В консоли Google Cloud перейдите на страницу Metrics (Показатели) нужного API:
Agent Platform API. Позволяет посмотреть статистику использования, связанную с любым запросом к Agent Platform Gemini API (formerly Vertex AI).
- Включает запросы, отправленные с помощью клиентских SDK Firebase AI Logic, серверных SDK Google GenAI Genkit, Firebase Extensions для Gemini API, REST API Agent Studio и т. д.
Gemini Developer API – просмотр статистики использования, связанной с любым запросом к Gemini Developer API.
- Включает запросы, отправленные с помощью клиентских SDK Firebase AI Logic, серверных SDK Google GenAI, Genkit, Firebase Extensions для Gemini API, REST API, Google AI Studio и т. д.
- В консоли Google Cloud этот API называется Generative Language API.
Если вы находитесь на обзорной странице API, нажмите Manage (Управление), а затем перейдите на вкладку Metrics (Показатели).
В раскрывающихся меню можно выбрать нужные показатели, например трафик по кодам ответа, ошибки по методам API, общую задержку и задержку по методам API.