Monitorar os custos, o uso e outras métricas dos recursos de IA é uma parte importante da execução de um app de produção. Você precisa saber como são os padrões de uso normais para seu app e estar dentro dos limites importantes para você.
Nesta página, descrevemos algumas opções recomendadas para monitorar custos, uso e outras métricas nos consoles do Firebase e do Google Cloud.
Monitorar custos
No painel Uso e faturamento do console do Firebase, é possível ver os custos do seu projeto para chamar o Agent Platform Gemini API (formerly Vertex AI) e o Gemini Developer API (quando você está no plano de preços Blaze).
Os custos exibidos no painel não são necessariamente específicos para chamadas que usam os SDKs de cliente do Firebase AI Logic. Os custos mostrados estão associados a qualquer chamada para essas "APIs Gemini", seja usando os SDKs de cliente Firebase AI Logic, os SDKs de servidor de IA generativa do Google, Genkit, o Firebase Extensions para o Gemini API, chamadas REST, um dos AI Studios ou outros clientes de API.
Saiba mais sobre os preços dos produtos associados ao uso do Firebase AI Logic.
Configurar alertas de orçamento e gasto máximo
Quando estiver no plano de preços Blaze, evite faturas inesperadas configurando alertas de orçamento e gastos máximos.
Os alertas de orçamento não são limites de orçamento. Um alerta vai enviar e-mails de aviso quando seus gastos atingirem determinados limites do orçamento para que você possa entrar em ação no seu app ou projeto. É necessário definir um orçamento com gasto máximo se você quiser que o serviço seja pausado quando o orçamento for atingido.
Observar o uso dos recursos de IA no console do Firebase
Ative o monitoramento de IA na página Firebase AI Logic do console do Firebase para observar várias métricas e o uso no nível do app e ter uma visibilidade abrangente das solicitações dos SDKs de cliente do Firebase AI Logic. Esses painéis são mais detalhados do que as contagens básicas de tokens que você recebe de uma chamada para a API Count Tokens.
Os principais recursos do AI Monitoring no console do Firebase incluem:
Visualizar métricas quantitativas, como volume de solicitações, latência, erros e uso de tokens por modalidade para cada um dos seus apps.
Inspecionar traces para ver os atributos, as entradas e as saídas das solicitações, o que pode ajudar na depuração e na melhoria da qualidade.
Dividir dados por dimensões como status da solicitação, latência mínima, nome do modelo e muito mais.
Todos esses recursos são criados usando o Google Cloud Observability Suite (consulte as informações detalhadas do produto abaixo).
Ativar o AI Monitoring
Confira como ativar o AI Monitoring no console do Firebase:
Quando você segue o fluxo de trabalho de configuração guiada inicial na página Serviços de IA > Firebase AI Logic
A qualquer momento na guia Serviços de IA > Lógica de IA > Configurações.
Requisitos para ativar e usar o AI Monitoring:
Você precisa ser um Proprietário do projeto, Editor ou administrador da Vertex AI para Firebase.
Seu app precisa usar pelo menos estas versões da biblioteca do Firebase:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+O app precisa ter a coleta de dados de ativação habilitada (isso é habilitado por padrão).
Depois que o app atender a esses requisitos e você ativar o AI monitoring no console, não será necessário fazer mais nada no app ou no console para começar a ver os dados preenchendo os painéis na guia Serviços de IA > Lógica de IA > AI monitoring. Pode haver um pequeno atraso (às vezes, até cinco minutos) antes que a telemetria de uma solicitação esteja disponível no console do Firebase.
Uso avançado
Nesta seção, descrevemos a configuração da taxa de amostragem, bem como diferentes opções para visualizar e trabalhar com seus dados.
Taxa de amostra
Se você estiver fazendo um grande número de solicitações, recomendamos aproveitar a configuração da taxa de amostragem. A taxa de amostragem indica a proporção de solicitações que tiveram detalhes de trace coletados.
Na guia Serviços de IA > Lógica de IA > Configurações do console do Firebase, é possível configurar a taxa de amostragem do projeto para um valor de 1 a 100%, em que 100% significa que o AI Monitoring vai coletar traces de todo o tráfego. O padrão é 100%. Coletar menos traces reduzirá seus custos, mas também reduzirá o número de traces que você pode monitorar. Independentemente da taxa de amostragem, os gráficos mostrados no painel de monitoramento sempre refletem o volume real de tráfego.
Outras opções fora do console do Firebase
Além do AI monitoring disponível no console do Firebase, considere estas opções:
Conheça o Model Garden da Vertex AI.
Esses painéis fornecem mais insights de tendências sobre latência e capacidade de processamento para os modelos gerenciados, complementando seus insights do AI monitoring no console do Firebase.Analisar e usar seus dados com o Google Cloud Observability Suite
Como os dados de telemetria do AI Monitoring são armazenados no Google Cloud Observability Suite associado ao seu projeto, é possível analisar seus dados nos painéis dele, incluindo o Trace Explorer e o Logs Explorer, que são vinculados quando você inspeciona seus traces individuais no console do Firebase. Também é possível usar seus dados para criar painéis personalizados, configurar alertas e muito mais.
Informações detalhadas sobre os produtos usados para o AI Monitoring
O AI Monitoring armazena seus dados de telemetria em vários produtos disponíveis no Google Cloud Observability Suite, incluindo Cloud Monitoring, Cloud Trace e Cloud Logging.
Cloud Monitoring: armazena métricas, incluindo o número de solicitações, a taxa de sucesso e a latência de solicitações.
Cloud Trace: armazena traces de cada uma das suas solicitações para que você possa ver os detalhes individualmente, em vez de agregados. Um trace normalmente é associado a registros para que você possa examinar o conteúdo e o tempo de cada interação.
Cloud Logging: captura metadados de entrada, saída e configuração para fornecer detalhes avançados sobre cada parte da sua solicitação de IA.
Como os dados de telemetria são armazenados nesses produtos, é possível especificar as configurações de retenção e acesso diretamente em cada produto (saiba mais na documentação de Cloud Monitoring, Cloud Trace e Cloud Logging).
O AI monitoring armazena os comandos reais e a saída gerada de cada solicitação de amostra no Cloud Logging para que esses dados fiquem acessíveis no console do Firebase. Se quiser, você pode desativar o armazenamento de comandos e respostas.
Preços
Projetos no plano de preços Spark sem custo financeiro (disponível apenas ao usar o Gemini Developer API): o uso dos serviços subjacentes para o AI monitoring é sem custo financeiro.
Projetos no plano de preços Blaze de pagamento por uso: você vai receber cobranças pelo uso dos produtos Google Cloud Observability Suite usados pelo AI monitoring, seja qual for o provedor de Gemini API escolhido. No entanto, cada produto do Google Cloud Observability Suite tem níveis sem custo financeiro generosos. Saiba mais na documentação de preços do Google Cloud Observability Suite.
(Opcional) Desativar o armazenamento de comandos e respostas
Por padrão, o AI Monitoring captura os comandos reais enviados ao modelo e as respostas geradas por ele, incluindo informações sensíveis (como informações de identificação pessoal (PII)) nesses comandos e respostas. Todos esses dados são armazenados no Cloud Logging para que possam ser acessados no console do Firebase.
Para desativar o armazenamento de comandos e respostas, adicione o seguinte
filtro de exclusão ao
coletor Cloud Logging
(normalmente o coletor _Default):
resource.type="firebasevertexai.googleapis.com/Model"
Ver as métricas da API no nível do projeto no console do Google Cloud
Para cada API, é possível conferir métricas no nível do projeto, como uso, no console do Google Cloud.
As páginas do console do Google Cloud descritas nesta seção não incluem informações como conteúdo de solicitação e resposta e contagem de tokens. Para monitorar esse tipo de informação, use o AI Monitoring no console do Firebase (consulte a seção anterior).
No console do Google Cloud, acesse a página Métricas da API que você quer visualizar:
API Agent Platform: confira o uso associado a qualquer solicitação para a Agent Platform Gemini API (formerly Vertex AI).
- Inclui solicitações que usam SDKs de cliente do Firebase AI Logic, SDKs de servidor da IA generativa do Google, Genkit, Firebase Extensions para Gemini API, API REST, Agent Studio etc.
Gemini Developer API: visualize o uso associado a qualquer solicitação para o Gemini Developer API.
- Inclui solicitações que usam os SDKs de cliente do Firebase AI Logic, os SDKs de servidor de IA generativa do Google, Genkit, o Firebase Extensions para o Gemini API, a API REST, Google AI Studio etc.
- O nome de exibição dessa API no console do Google Cloud é "API Generative Language".
Se você estiver em uma "página de visão geral" da API, clique em Gerenciar e, em seguida, na guia Métricas.
Use os menus suspensos para ver as métricas de interesse, como tráfego por código de resposta, erros por método de API, latência geral e latência por método de API.