Il monitoraggio dei costi, dell'utilizzo e di altre metriche delle funzionalità di AI è una parte importante della gestione di un'app di produzione. Devi conoscere i normali pattern di utilizzo della tua app e assicurarti di rimanere entro le soglie che ti interessano.
Questa pagina descrive alcune opzioni consigliate per monitorare i costi, l'utilizzo, e altre metriche sia nella console Firebase che nella console Google Cloud.
Monitoraggio dei costi
Nella Utilizzo e fatturazione dashboard della Firebase console, puoi visualizzare i costi del tuo progetto per le chiamate all' Vertex AI Gemini API e all' Gemini Developer API (quando utilizzi il piano tariffario Blaze).
I costi visualizzati nella dashboard non sono necessariamente specifici per le chiamate che utilizzano gli SDK client Firebase AI Logic. I costi visualizzati sono associati a qualsiasi chiamata a queste "API Gemini", sia che utilizzino gli Firebase AI Logic client, gli SDK server Google GenAI, Genkit, le Firebase Extensions per l' Gemini API, le chiamate REST, uno degli AI Studio o altri client API.
Scopri di più sui prezzi dei prodotti associati al tuo utilizzo di Firebase AI Logic.
Configurazione degli avvisi
Per evitare fatture a sorpresa, assicurati di configurare gli avvisi relativi al budget quando utilizzi il piano tariffario Blaze.
Tieni presente che gli avvisi relativi al budget non sono limiti di budget. Un avviso ti invierà comunicazioni quando ti avvicini o superi la soglia configurata, in modo che tu possa intervenire nella tua app o nel tuo progetto.
Osservare l'utilizzo delle funzionalità di AI nella console Firebase
Puoi abilitare il monitoraggio AI nella Firebase AI Logic pagina della Firebase console per osservare varie metriche e l'utilizzo a livello di app e ottenere una visibilità completa delle richieste provenienti dagli Firebase AI Logic client SDK. Queste dashboard sono più approfondite rispetto ai conteggi di base dei token che ottieni da una chiamata all' API Count Tokens.
Le funzionalità principali del monitoraggio AI nella console includono:Firebase
Visualizzazione di metriche quantitative come volume di richieste, latenza, errori e utilizzo di token per modalità per ciascuna delle tue app.
Ispezione delle tracce per visualizzare gli attributi, gli input e gli output delle richieste, che possono essere utili per il debug e il miglioramento della qualità.
Suddivisione dei dati in base a dimensioni come stato della richiesta, latenza minima, nome del modello e altro ancora.
Tutte queste funzionalità sono create utilizzando Google Cloud Observability Suite (vedi informazioni dettagliate sul prodotto di seguito).
Abilitare il monitoraggio AI
Ecco i modi in cui puoi abilitare il monitoraggio AI nella Firebase console:
Quando segui il flusso di lavoro di configurazione guidata iniziale dalla pagina Servizi AI > Firebase AI Logic
In qualsiasi momento nella scheda Servizi AI > AI Logic > Impostazioni
Requisiti per abilitare e utilizzare il monitoraggio AI:
Devi essere un proprietario, un editor o un amministratore di Firebase Vertex AI del progetto.
La tua app deve utilizzare almeno queste versioni della libreria Firebase:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+La raccolta dei dati con consenso esplicito deve essere abilitata (è abilitata per impostazione predefinita).
Dopo che la tua app soddisfa questi requisiti e hai abilitato il monitoraggio AI nella console, non devi fare altro nell'app o nella console per iniziare a visualizzare i dati nelle dashboard nella scheda Servizi AI > AI Logic > Monitoraggio AI. Potrebbe esserci un leggero ritardo (a volte fino a 5 minuti) prima che i dati di telemetria di una richiesta siano disponibili nella Firebase console.
Utilizzo avanzato
Questa sezione descrive la configurazione della frequenza di campionamento, nonché le diverse opzioni per visualizzare e utilizzare i dati.
Frequenza di campionamento
Se effettui un numero elevato di richieste, ti consigliamo di sfruttare la configurazione della frequenza di campionamento. La frequenza di campionamento indica la proporzione di richieste per le quali vengono effettivamente raccolti i dettagli delle tracce.
Nella scheda Servizi AI > AI Logic > Impostazioni della console Firebase, puoi configurare la frequenza di campionamento per il tuo progetto con un valore compreso tra 1 e 100%, dove 100% significa che il monitoraggio AI raccoglierà le tracce di tutto il traffico. Il valore predefinito è 100%. La raccolta di un numero inferiore di tracce ridurrà i costi, ma anche il numero di tracce che puoi monitorare. Tieni presente che, indipendentemente dalla frequenza di campionamento, i grafici mostrati nella dashboard di monitoraggio rifletteranno sempre il volume di traffico effettivo.
Opzioni aggiuntive al di fuori della Firebase console
Oltre al monitoraggio AI disponibile nella console Firebase, prendi in considerazione queste opzioni:
Esplora Model Garden di Vertex AI.
Queste dashboard forniscono ulteriori informazioni sulle tendenze relative alla latenza e alla velocità effettiva per i modelli gestiti, integrando le informazioni del monitoraggio AI nella console Firebase.Esplora e utilizza i tuoi dati con Google Cloud Observability Suite
Poiché i dati di telemetria per il monitoraggio AI vengono archiviati in Google Cloud Observability Suite associato al tuo progetto, puoi esplorare i dati nelle relative dashboard, tra cui Trace Explorer e Logs Explorer, a cui viene rimandato quando ispezioni le singole tracce nella Firebase console. Puoi anche utilizzare i dati per creare dashboard personalizzate, configurare avvisi e altro ancora.
Informazioni dettagliate sui prodotti utilizzati per il monitoraggio AI
Il monitoraggio AI archivia i dati di telemetria in vari prodotti disponibili in Google Cloud Observability Suite, tra cui Cloud Monitoring, Cloud Trace, e Cloud Logging.
Cloud Monitoring: archivia le metriche, tra cui il numero di richieste, la percentuale di successo e la latenza delle richieste.
Cloud Trace: archivia le tracce per ogni richiesta in modo che tu possa visualizzare i dettagli singolarmente, anziché in forma aggregata. In genere, una traccia è associata ai log in modo che tu possa esaminare il contenuto e la tempistica di ogni interazione.
Cloud Logging: acquisisce i metadati di input, output e configurazione per fornire informazioni dettagliate su ogni parte della richiesta di AI.
Poiché i dati di telemetria vengono archiviati in questi prodotti, puoi specificare le impostazioni di conservazione e accesso direttamente in ogni prodotto (scopri di più nella documentazione di Cloud Monitoring, Cloud Trace e Cloud Logging).
Tieni presente che il monitoraggio AI archivia i prompt effettivi e l'output generato da ogni richiesta campionata in Cloud Logging in modo che questi dati siano accessibili nella Firebase console. Se vuoi, puoi disattivare l'archiviazione di prompt e risposte.
Prezzi
Progetti con il piano tariffario Spark senza costi aggiuntivi (disponibile solo quando utilizzi l' Gemini Developer API): l'utilizzo dei servizi sottostanti per il monitoraggio AI è senza costi.
Progetti con il piano tariffario Blaze con pagamento a consumo: ti verrà addebitato l'utilizzo dei prodotti sottostanti Google Cloud Observability Suite utilizzati dal monitoraggio AI (indipendentemente dal fornitore Gemini API scelto). Tuttavia, ogni Google Cloud Observability Suite prodotto ha livelli senza costi aggiuntivi generosi. Scopri di più nella Google Cloud Observability Suite documentazione sui prezzi.
(Facoltativo) Disattivare l'archiviazione di prompt e risposte
Per impostazione predefinita, il monitoraggio AI acquisisce i prompt effettivi inviati al modello e le risposte generate dal modello, incluse eventuali informazioni sensibili (come le informazioni che consentono l'identificazione personale (PII)) in questi prompt e risposte. Tutti questi dati vengono archiviati in Cloud Logging in modo che siano accessibili nella Firebase console.
Per disattivare l'archiviazione di prompt e risposte, aggiungi il seguente
filtro di esclusione al tuo
Cloud Logging sink
(in genere il sink _Default):
resource.type="firebasevertexai.googleapis.com/Model"
Visualizzare le metriche API a livello di progetto nella Google Cloud console
Per ogni API, puoi visualizzare le metriche a livello di progetto, come l'utilizzo, nella Google Cloud console.
Tieni presente che le pagine della console Google Cloud descritte in questa sezione non includono informazioni come il contenuto delle richieste e delle risposte e il conteggio dei token. Per monitorare questo tipo di informazioni, valuta la possibilità di utilizzare il monitoraggio AI nella Firebase console (vedi la sezione precedente).
Nella console Google Cloud, vai alla pagina Metriche dell'API che vuoi visualizzare:
Vertex AI API: visualizza l'utilizzo associato a qualsiasi richiesta a Vertex AI Gemini API.
- Include le richieste che utilizzano gli SDK client Firebase AI Logic, gli SDK server Google GenAI, Genkit, le Firebase Extensions per l'Gemini API, l'API REST, Vertex AI Studio, e così via.
Gemini Developer API: Visualizza l'utilizzo associato a qualsiasi richiesta a Gemini Developer API.
- Include le richieste che utilizzano gli Firebase AI Logic client SDK, gli SDK server Google GenAI, Genkit, le Firebase Extensions per l'Gemini API, l'API REST, Google AI Studio, e così via.
- Il nome visualizzato di questa API nella Google Cloud console è "API Generative Language".
Se ti trovi in una "pagina di panoramica" dell'API, fai clic Gestisci e poi sulla scheda Metriche.
Utilizza i menu a discesa per visualizzare le metriche di interesse, come il traffico per codice di risposta, gli errori per metodo API, la latenza complessiva e la latenza per metodo API.