Monitorar os custos, o uso e outras métricas dos seus recursos de IA é uma parte importante da execução de um app de produção. Você precisa saber como são os padrões de uso normais para seu aplicativo e estar dentro dos limites importantes para você.
Nesta página, descrevemos algumas opções recomendadas para monitorar seus custos, uso e outras métricas no console do Firebase e do Google Cloud.
Monitorar custos
No painel Uso e faturamento do console do Firebase, é possível conferir os custos do seu projeto para chamar o Agent Platform Gemini API (formerly Vertex AI) e o Gemini Developer API (quando você está no plano de preços Blaze).
Os custos mostrados no painel não são necessariamente específicos para chamadas usando os SDKs do cliente Firebase AI Logic. Os custos exibidos estão associados a qualquer chamada para essas "API Gemini", seja usando os SDKs de cliente Firebase AI Logic, os SDKs de servidor de IA generativa do Google, Genkit, o Firebase Extensions para o Gemini API, chamadas REST, um dos AI Studios ou outros clientes de API.
Saiba mais sobre os preços dos produtos associados ao seu uso do Firebase AI Logic.
Configurar alertas de orçamento e gasto máximo
Quando estiver no plano de preços Blaze, evite faturas inesperadas configurando alertas de orçamento e gastos máximos.
Os alertas de orçamento não são limites de orçamento. Um alerta vai enviar e-mails de aviso quando os gastos atingirem determinados limites do orçamento para que você possa entrar em ação no seu app ou projeto. Você precisa definir um orçamento com gasto máximo se quiser que o serviço seja pausado quando o orçamento for atingido.
Observar o uso dos recursos de IA no console do Firebase
É possível ativar o monitoramento de IA na página Firebase AI Logic do console Firebase para observar várias métricas e o uso no nível do app e ter uma visibilidade abrangente das suas solicitações dos SDKs do cliente Firebase AI Logic. Esses painéis são mais detalhados do que as contagens básicas de tokens que você recebe de uma chamada à API Count Tokens.
Os principais recursos do monitoramento de IA no console do Firebase incluem:
Visualizar métricas quantitativas, como volume de solicitações, latência, erros e uso de tokens por modalidade para cada um dos seus apps.
Inspecionar rastreamentos para conferir os atributos, entradas e saídas das suas solicitações, o que pode ajudar na depuração e na melhoria da qualidade.
Segmentar dados por dimensões como status da solicitação, latência mínima, nome do modelo e muito mais.
Todos esses recursos são criados usando o Google Cloud Observability Suite. Consulte as informações detalhadas do produto abaixo.
Ativar o monitoramento de IA
Confira como ativar o AI monitoring no console do Firebase:
Ao seguir o fluxo de trabalho de configuração inicial guiada na página Serviços de IA > Firebase AI Logic
A qualquer momento, em Serviços de IA > Lógica de IA > guia Configurações
Requisitos para ativar e usar o monitoramento de IA:
Você precisa ser Proprietário do projeto, Editor ou administrador da Vertex AI do Firebase.
Seu app precisa usar pelo menos estas versões da biblioteca do Firebase:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+O app precisa ter a coleta de dados de inclusão ativada (essa opção é ativada por padrão).
Depois que o app atender a esses requisitos e você ativar o monitoramento de IA no console, não será necessário fazer mais nada no app ou no console para começar a ver os dados preencherem os painéis na guia Serviços de IA > Lógica de IA > Monitoramento de IA. Pode haver um pequeno atraso (às vezes até 5 minutos) antes que a telemetria de uma solicitação esteja disponível no console Firebase.
Uso avançado
Esta seção descreve a configuração da taxa de amostragem e diferentes opções para visualizar e trabalhar com seus dados.
Taxa de amostra
Se você estiver fazendo um grande número de solicitações, recomendamos aproveitar a configuração da taxa de amostragem. A taxa de amostragem indica a proporção de solicitações que tiveram detalhes de trace coletados.
Na guia Configurações de Serviços de IA > Lógica de IA do console Firebase, é possível configurar a taxa de amostragem do projeto com um valor de 1 a 100%. 100% significa que o AI monitoring vai coletar traces de todo o tráfego. O padrão é 100%. Coletar menos rastreamentos reduz seus custos, mas também o número de rastreamentos que você pode monitorar. Observação: independente da taxa de amostragem, os gráficos mostrados no painel de monitoramento sempre refletem o volume real de tráfego.
Outras opções fora do console Firebase
Além do monitoramento de IA disponível no console do Firebase, considere estas opções:
Conheça o Model Garden da Vertex AI.
Esses painéis fornecem mais insights de tendências sobre latência e capacidade de processamento para os modelos gerenciados, complementando seus insights do AI monitoring no console do Firebase.Analise e use seus dados com Google Cloud Observability Suite
Como os dados de telemetria para monitoramento de IA são armazenados no Google Cloud Observability Suite associado ao seu projeto, é possível analisar os dados nos painéis, incluindo Trace Explorer e Logs Explorer, que são vinculados a quando você inspeciona seus rastreamentos individuais no console do Firebase. Você também pode usar seus dados para criar painéis personalizados, configurar alertas e muito mais.
Informações detalhadas sobre os produtos usados para monitoramento de IA
O monitoramento de IA armazena seus dados de telemetria em vários produtos disponíveis no Google Cloud Observability Suite, incluindo Cloud Monitoring, Cloud Trace e Cloud Logging.
Cloud Monitoring: armazena métricas, incluindo número de solicitações, taxa de sucesso e latência de solicitação.
Cloud Trace: armazena rastreamentos para cada uma das suas solicitações para que você possa ver detalhes individualmente, em vez de agregados. Normalmente, um rastreamento é associado a registros para que você possa examinar o conteúdo e o tempo de cada interação.
Cloud Logging: captura metadados de entrada, saída e configuração para fornecer detalhes sobre cada parte da sua solicitação de IA.
Como os dados de telemetria são armazenados nesses produtos, é possível especificar as configurações de retenção e acesso diretamente em cada um deles. Saiba mais na documentação do Cloud Monitoring, Cloud Trace e Cloud Logging.
Observe que o AI monitoring armazena os comandos reais e a saída gerada de cada solicitação de amostra em Cloud Logging para que esses dados fiquem acessíveis no console do Firebase. Se quiser, você pode desativar o armazenamento de comandos e respostas.
.Preços
Projetos no plano de preços Spark sem custo financeiro (disponível apenas ao usar o Gemini Developer API): o uso dos serviços subjacentes para o AI Monitoring não tem custo financeiro.
Projetos no plano de preços Blaze de pagamento por uso: você vai receber cobranças pelo uso dos produtos Google Cloud Observability Suite subjacentes que o AI Monitoring usa (independente do provedor de Gemini API escolhido). No entanto, cada produto do Google Cloud Observability Suite tem níveis generosos sem custo financeiro. Saiba mais na documentação de preços do Google Cloud Observability Suite.
(Opcional) Desativar o armazenamento de comandos e respostas
Por padrão, o AI monitoring captura os comandos reais enviados ao modelo e as respostas geradas por ele, incluindo informações sensíveis (como informações de identificação pessoal [PII]) nesses comandos e respostas. Todos esses dados são armazenados no Cloud Logging para que possam ser acessados no console Firebase.
Para desativar o armazenamento de comandos e respostas, adicione o seguinte filtro de exclusão ao coletor Cloud Logging (normalmente o coletor _Default): resource.type="firebasevertexai.googleapis.com/Model"
Conferir métricas de API no nível do projeto no console Google Cloud
Para cada API, é possível conferir métricas no nível do projeto, como uso, no console Google Cloud.
As páginas do console Google Cloud descritas nesta seção não incluem informações como conteúdo de solicitação e resposta e contagem de tokens. Para monitorar esse tipo de informação, use o AI monitoring no console do Firebase (consulte a seção anterior).
No console do Google Cloud, acesse a página Métricas da API que você quer visualizar:
API Agent Platform: confira o uso associado a qualquer solicitação para o Agent Platform Gemini API (formerly Vertex AI).
- Inclui solicitações usando SDKs de cliente Firebase AI Logic, SDKs de servidor da IA generativa do Google, Genkit, Firebase Extensions para Gemini API, API REST, Agent Studio etc.
Gemini Developer API: confira o uso associado a qualquer solicitação ao Gemini Developer API.
- Inclui solicitações usando os SDKs de cliente Firebase AI Logic, os SDKs de servidor da IA generativa do Google, Genkit, o Firebase Extensions para o Gemini API, a API REST, Google AI Studio etc.
- O nome de exibição dessa API no console do Google Cloud é "API Generative Language".
Se você estiver em uma página de visão geral da API, clique em Gerenciar e depois na guia Métricas.
Use os menus suspensos para conferir as métricas de interesse, como tráfego por código de resposta, erros por método de API, latência geral e latência por método de API.