Il monitoraggio dei costi, dell'utilizzo e di altre metriche delle funzionalità di AI è una parte importante della gestione di un'app di produzione. Devi conoscere i normali pattern di utilizzo della tua app e assicurarti di rimanere entro le soglie che ti interessano.
Questa pagina descrive alcune opzioni consigliate per monitorare i costi, l'utilizzo e altre metriche sia nella console Firebase sia nella console Google Cloud.
Monitoraggio dei costi
Nella dashboard Utilizzo e fatturazione della console Firebase, puoi visualizzare i costi del tuo progetto per le chiamate a Agent Platform Gemini API (formerly Vertex AI) e Gemini Developer API (se hai scelto il piano tariffario Blaze).
I costi visualizzati nella dashboard non sono necessariamente specifici per le chiamate che utilizzano gli SDK client di Firebase AI Logic. I costi visualizzati sono associati a qualsiasi chiamata a queste "API Gemini", indipendentemente dal fatto che utilizzi gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, le chiamate REST, uno degli AI Studio o altri client API.
Scopri di più sui prezzi dei prodotti associati al tuo utilizzo di Firebase AI Logic.
Configura avvisi relativi al budget e limiti di spesa
Se hai scelto il piano tariffario Blaze, evita sorprese in fattura configurando avvisi relativi al budget e limiti di spesa.
Tieni presente che gli avvisi relativi al budget non sono limiti di budget. Un avviso ti invierà email di avviso quando la spesa raggiunge determinate soglie del budget, in modo che tu possa passare all'azione nella tua app o nel tuo progetto. È necessario impostare un limite di spesa se si desidera che il servizio venga messo in pausa al raggiungimento del budget.
Osserva l'utilizzo delle funzionalità di AI nella console Firebase
Puoi attivare il monitoraggio AI nella pagina Firebase AI Logic della console Firebase per osservare varie metriche e l'utilizzo a livello di app, in modo da ottenere una visibilità completa delle tue richieste dagli SDK client Firebase AI Logic. Queste dashboard sono più approfondite rispetto ai conteggi dei token di base che ottieni da una chiamata all'API Count Tokens.
Le funzionalità principali del monitoraggio AI nella console Firebase includono:
Visualizzare metriche quantitative come volume delle richieste, latenza, errori e utilizzo dei token per modalità per ciascuna delle tue app.
Ispezionare le tracce per visualizzare gli attributi, gli input e gli output delle tue richieste, il che può essere utile per il debug e il miglioramento della qualità.
Suddivisione dei dati in base a dimensioni come stato della richiesta, latenza minima, nome del modello e altro ancora.
Tutte queste funzionalità sono create utilizzando Google Cloud Observability Suite (vedi le informazioni dettagliate sul prodotto di seguito).
Abilita il monitoraggio AI
Ecco i modi in cui puoi attivare il monitoraggio AI nella console Firebase:
Quando esegui il workflow di configurazione guidata iniziale dalla pagina Servizi AI > Firebase AI Logic
In qualsiasi momento nella scheda Servizi AI > AI Logic > Impostazioni
Requisiti per l'attivazione e l'utilizzo del monitoraggio AI:
Devi essere un Project Owner, un Editor o un Firebase Vertex AI Admin.
La tua app deve utilizzare almeno queste versioni della libreria Firebase:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+La tua app deve avere la raccolta dei dati di attivazione abilitata (questa opzione è abilitata per impostazione predefinita).
Una volta che la tua app soddisfa questi requisiti e attivi il monitoraggio AI nella console, non devi fare altro nell'app o nella console per iniziare a visualizzare i dati che compilano le dashboard nella scheda Servizi AI > AI Logic > Monitoraggio AI. Potrebbe verificarsi un leggero ritardo (a volte fino a 5 minuti) prima che la telemetria di una richiesta sia disponibile nella console Firebase.
Utilizzo avanzato
Questa sezione descrive la configurazione della frequenza di campionamento, nonché le diverse opzioni per visualizzare e utilizzare i dati.
Frequenza di campionamento
Se effettui un numero elevato di richieste, ti consigliamo di sfruttare la configurazione della frequenza di campionamento. La frequenza di campionamento indica la proporzione di richieste per le quali vengono effettivamente raccolti i dettagli delle tracce.
Nella scheda Servizi AI > AI Logic > Impostazioni della console Firebase, puoi configurare la frequenza di campionamento per il tuo progetto su un valore compreso tra 1 e 100%, dove 100% significa che il monitoraggio AI raccoglierà le tracce da tutto il traffico. Il valore predefinito è 100%. La raccolta di un numero inferiore di tracce ridurrà i costi, ma ridurrà anche il numero di tracce che puoi monitorare. Tieni presente che, indipendentemente dalla frequenza di campionamento, i grafici mostrati nella dashboard di monitoraggio rifletteranno sempre il volume effettivo del traffico.
Opzioni aggiuntive al di fuori della console Firebase
Oltre al monitoraggio AI disponibile nella console Firebase, prendi in considerazione queste opzioni:
Esplora Model Garden di Vertex AI.
Queste dashboard forniscono ulteriori insight sulle tendenze relative alla latenza e al throughput per i modelli gestiti, integrando gli insight del monitoraggio AI nella console Firebase.Esplora e utilizza i tuoi dati con Google Cloud Observability Suite
Poiché i dati di telemetria per il monitoraggio AI sono archiviati in Google Cloud Observability Suite associato al tuo progetto, puoi esplorare i tuoi dati nelle sue dashboard, tra cui Trace Explorer e Logs Explorer, che sono collegate quando esamini le singole tracce nella console Firebase. Puoi anche utilizzare i tuoi dati per creare dashboard personalizzate, configurare avvisi e altro ancora.
Informazioni dettagliate sui prodotti utilizzati per il monitoraggio AI
Il monitoraggio AI archivia i dati di telemetria in vari prodotti disponibili in Google Cloud Observability Suite, tra cui Cloud Monitoring, Cloud Trace e Cloud Logging.
Cloud Monitoring: archivia le metriche, tra cui il numero di richieste, il tasso di successo e la latenza delle richieste.
Cloud Trace: archivia le tracce per ciascuna delle tue richieste in modo da poter visualizzare i dettagli singolarmente, anziché in forma aggregata. In genere, una traccia è associata ai log in modo da poter esaminare i contenuti e i tempi di ogni interazione.
Cloud Logging: acquisisce i metadati di input, output e configurazione per fornire dettagli completi su ogni parte della richiesta AI.
Poiché i dati di telemetria sono archiviati in questi prodotti, puoi specificare le impostazioni di conservazione e accesso direttamente all'interno di ciascun prodotto (scopri di più nella documentazione di Cloud Monitoring, Cloud Trace e Cloud Logging).
Tieni presente che il monitoraggio AI archivia i prompt effettivi e l'output generato da ogni richiesta campionata in Cloud Logging in modo che questi dati siano accessibili nella console Firebase. Se vuoi, puoi disattivare l'archiviazione di prompt e risposte.
Prezzi
Progetti con il piano tariffario Spark senza costi (disponibile solo se utilizzi Gemini Developer API): l'utilizzo dei servizi sottostanti per il monitoraggio AI è senza costi.
Progetti con il piano tariffario Blaze con pagamento a consumo: ti verrà addebitato l'utilizzo dei prodotti Google Cloud Observability Suite sottostanti utilizzati dal monitoraggio AI (indipendentemente dal provider Gemini API scelto). Tuttavia, ogni prodotto Google Cloud Observability Suite ha livelli senza costi generosi. Scopri di più nella documentazione sui prezzi di Google Cloud Observability Suite.
(Facoltativo) Disattiva l'archiviazione di prompt e risposte
Per impostazione predefinita, il monitoraggio AI acquisisce i prompt effettivi inviati al modello e le risposte generate dal modello, incluse eventuali informazioni sensibili (come le informazioni che consentono l'identificazione personale (PII)) in questi prompt e risposte. Tutti questi dati vengono archiviati in Cloud Logging in modo che siano accessibili nella console Firebase.
Per disattivare l'archiviazione di prompt e risposte, aggiungi il seguente
filtro di esclusione al tuo
sink Cloud Logging
(in genere il sink _Default):
resource.type="firebasevertexai.googleapis.com/Model"
Visualizza le metriche delle API a livello di progetto nella console Google Cloud
Per ogni API, puoi visualizzare le metriche a livello di progetto, ad esempio l'utilizzo, nella console Google Cloud.
Tieni presente che le pagine della console Google Cloud descritte in questa sezione non includono informazioni come i contenuti di richiesta e risposta e il conteggio dei token. Per monitorare questo tipo di informazioni, ti consigliamo di utilizzare il monitoraggio AI nella console Firebase (consulta la sezione precedente).
Nella console Google Cloud, vai alla pagina Metriche dell'API che vuoi visualizzare:
API Agent Platform: visualizza l'utilizzo associato a qualsiasi richiesta a Agent Platform Gemini API (formerly Vertex AI).
- Include le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, l'API REST, Agent Studio e così via.
Gemini Developer API: visualizza l'utilizzo associato a qualsiasi richiesta inviata a Gemini Developer API.
- Include le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, Firebase Extensions per Gemini API, l'API REST, Google AI Studio e così via.
- Il nome visualizzato di questa API nella console Google Cloud è "API Generative Language".
Se ti trovi in una "pagina di riepilogo" dell'API, fai clic su Gestisci, quindi sulla scheda Metriche.
Utilizza i menu a discesa per visualizzare le metriche di interesse, come il traffico per codice di risposta, gli errori per metodo API, la latenza complessiva e la latenza per metodo API.