Informazioni sulle quote e sulla loro gestione

Vertex AI in Firebase richiede due API diverse (ciascuna con la propria quota): Vertex AI e Vertex AI in Firebase.

Ognuna di queste API ha una quota misurata in richieste al minuto (RPM), in particolare richieste di "generazione di contenuti" (sia in streaming che senza streaming). L'API Vertex AI ha anche una quota per i token di input al minuto.

Questa pagina descrive quanto segue:

Puoi trovare informazioni generali sulle quote nella documentazione di Google Cloud.

Informazioni sulle quote per ogni API

La quota di ogni API viene misurata in modo leggermente diverso, il che significa che possono essere utilizzate per scopi diversi.

Informazioni sulle quote dell'API Vertex AI

Le quote dell'API Vertex AI si basano su "Generare richieste di contenuti" a livello di modello, regione e minuto.

Ecco alcuni dettagli importanti su queste quote (in particolare, richieste al minuto e token di input al minuto):

  • Si applicano a livello di progetto e sono condivisi tra tutte le applicazioni e gli indirizzi IP che utilizzano il progetto Firebase.

  • Si applicano a qualsiasi chiamata all'API Vertex AI Gemini API, che si tratti di l'utilizzo degli SDK client Vertex AI in Firebase, degli SDK server Vertex AI, di Firebase Genkit, di Firebase Extensions Gemini, di chiamate REST, di Vertex AI Studio o di altri client API.

  • Si applicano a un modello di base e a tutte le versioni, gli identificatori e le versioni ottimizzate di quel modello. Ecco alcuni esempi:

    • Una richiesta a gemini-1.0-pro e una richiesta a gemini-1.0-pro-001 vengono conteggiate come due richieste ai fini della quota RPM del modello di base gemini-1.0 pro.

    • Una richiesta a gemini-1.0-pro-001 e una richiesta a un modello ottimizzato basato su gemini-1.0-pro-001 vengono conteggiate come due richieste ai fini della quota RPM del modello di base gemini-1.0-pro.

  • Le quote predefinite per ogni modello e per ogni regione sono disponibili nella documentazione di Google Cloud.

In sostanza, puoi considerare le quote di questa API come quote "totali" per tutti i tuoi utenti (che utilizzano le funzionalità di IA nella tua app che si basano su un modello specifico e in una regione specifica).

Queste quote devono essere sufficientemente elevate da soddisfare in modo ragionevole il numero totale di utenti finali in una regione specifica che potrebbero accedere alle tue funzionalità di IA basate su un modello specifico. Poiché si tratta di quote per minuto, è relativamente improbabile che tutti i tuoi utenti in una regione utilizzino contemporaneamente lo stesso insieme di funzionalità e esauriscano queste quote. Tuttavia, ogni app è diversa, quindi modifica queste quote di conseguenza.

.

Informazioni sulla quota dell'API Vertex AI in Firebase

La quota dell'API Vertex AI in Firebase si basa su "Genera richieste di contenuti" su base per utente, per regione e per minuto.

Di seguito sono riportati alcuni dettagli importanti su questa quota (in particolare, le richieste al minuto):

  • Si applica a livello di progetto e a tutte le applicazioni e gli indirizzi IP che utilizzano il progetto Firebase.

  • Si applica a qualsiasi chiamata che passa specificamente per qualsiasi Vertex AI in Firebase SDK.

  • La quota predefinita è 100 RPM per utente.
    Tieni presente che devi comunque considerare i limiti di quota per l'Vertex AIAPI, soprattutto se sono inferiori a 100 RPM.

In pratica, puoi considerare la quota di questa API come la quota "per utente" per le funzionalità di IA che si basano su Vertex AI in Firebase.

Questa quota deve essere sufficientemente elevata da poter supportare ragionevolmente un singolo utente che accede alle funzionalità di IA basate su Vertex AI in Firebase. Poiché questa API funge da gateway per l'API Vertex AI, puoi utilizzare la quota dell'API Vertex AI per assicurarti che nessun singolo utente esaurisca la quota dell'API Vertex AI (che deve essere condivisa da tutti gli utenti).Vertex AI in Firebase

Visualizzare le quote per ogni API

Puoi visualizzare le quote per ogni API nella console Google Cloud.

  1. Nella console Google Cloud, vai alla pagina dell'API di tuo interesse: API Vertex AI o API Vertex AI in Firebase.

  2. Fai clic su Gestisci.

  3. Più in basso nella pagina, fai clic sulla scheda Quote e limiti di sistema.

  4. Filtra la tabella per visualizzare le quote di interesse.

    Tieni presente che per creare un filtro Dimension, devi utilizzare gli strumenti di filtro, anziché semplicemente copiare e incollare i valori nei seguenti esempi.

    • Per l'API Vertex AI: specifica la funzionalità (richieste per la generazione di contenuti), il nome del modello e la regione.

      Ad esempio, per visualizzare le quote per la generazione di richieste di contenuti con Gemini 1.5 Flash in una delle regioni dell'UE supportate, il filtro sarà simile al seguente:
      Generate content requests + Dimension:base_model:gemini-1.5-flash + Dimension:region:eu

    • Per l'API Vertex AI in Firebase: specifica la funzionalità (richieste per la generazione di contenuti) e la regione.

      Ad esempio, per visualizzare le quote per utente per la generazione di richieste di contenuti in una delle regioni asiatiche supportate, il filtro sarà il seguente:
      Generate content requests + Dimension:region:asia

      Tieni presente che le quote dell'API Vertex AI in Firebase non si basano su un determinato modello. Inoltre, la riga della quota (default) non si applica a Vertex AI in Firebase.

Modificare la quota o richiedere un aumento della quota

Prima di passare alla produzione o se ricevi errori 429 relativi al superamento della quota, potrebbe essere necessario modificare la quota o richiederne un aumento. Assicurati di modificare la quota di ogni API di conseguenza (consulta Informazioni sulle quote per ogni API all'inizio di questa pagina per ulteriori considerazioni).

Per modificare una quota, devi disporre dell'autorizzazione serviceusage.quotas.update, inclusa per impostazione predefinita nei ruoli Proprietario ed Editor.

Ecco come modificare la quota o richiedere un aumento:

  1. Segui le istruzioni riportate nella precedente sottosezione per visualizzare le quote di ogni API.

  2. Seleziona la casella di controllo a sinistra di ogni quota di interesse.

  3. Alla fine della riga della quota, fai clic sul menu con tre puntini e seleziona Modifica quota.

  4. Nel modulo Modifiche alla quota, segui questi passaggi:

    1. Inserisci la quota aumentata nel campo Nuovo valore.

      Questa quota si applica a livello di progetto e viene condivisa tra tutte le applicazioni e gli indirizzi IP che utilizzano il progetto Firebase.

    2. Compila eventuali campi aggiuntivi nel modulo, poi fai clic su Fine.

    3. Fai clic su Invia richiesta.