|
Clique no provedor Gemini API para conferir o conteúdo específico do provedor e o código nesta página. |
Os limites de taxa (geralmente chamados de cotas) regulam o número de solicitações que podem ser feitas para a Gemini API em um determinado período. Esses limites ajudam a garantir o uso justo, proteger contra abusos e manter o desempenho do sistema para todos os usuários.
Ao usar Firebase AI Logic para enviar solicitações aos modelos Gemini e Imagen, os limites de taxa do projeto dependem do provedor "Gemini API" escolhido. Firebase AI Logic também oferece uma maneira de definir limites de taxa "por usuário".
Conferir limites de taxa da Gemini Developer API
Se você exceder a cota ou se a capacidade do modelo que está acessando estiver esgotada, você receberá uma mensagem de erro 429.
Como os limites de taxa (cotas) funcionam
Os limites de taxa (cotas) são medidos em quatro dimensões:
- Solicitações por minuto (RPM)
- Solicitações por dia (RPD)
- Tokens por minuto (TPM)
- Tokens por dia (TPD)
Seu uso é avaliado em relação a cada limite, e exceder qualquer um deles vai acionar um erro 429 de cota excedida. Por exemplo, se o limite de RPM for 20, fazer 21 solicitações em um minuto vai resultar em um erro, mesmo que você não tenha excedido o TPM ou outros limites.
Os limites de taxa são aplicados no nível do projeto e a todos os aplicativos e endereços IP que usam esse projeto do Firebase.
Os limites variam de acordo com o modelo específico usado, e alguns limites só se aplicam a modelos específicos. Por exemplo, as imagens por minuto (IPM) só são calculadas para modelos capazes de gerar imagens (Imagen), mas são conceitualmente semelhantes ao TPM.
Os limites de taxa são mais restritos para modelos experimentais e de pré-lançamento.
Solicitar um aumento no limite de taxa
Se você estiver em um "nível pago" para o Gemini Developer API, poderá solicitar um aumento no limite de taxa.
Definir limites de taxa "por usuário"
Para usar Firebase AI Logic, seu projeto precisa ter o provedor Gemini API escolhido ativado, mas também é necessário ativar a API Firebase AI Logic, que atua como um gateway entre nossos SDKs do cliente e o provedor Gemini API. Essa API é ativada quando você configura Firebase AI Logic no seu projeto do Firebase.
É possível usar o limite de taxa (cota) da API Firebase AI Logic como um limite de taxa "por usuário" para seu app, especificamente para os recursos de IA que dependem de Firebase AI Logic. Defina esse limite para acomodar razoavelmente um único usuário que acessa seus recursos de IA, garantindo também que nenhum usuário sobrecarregue os limites do provedor (que deve ser compartilhado por todos os usuários).Gemini API
Detalhes sobre o limite de taxa "por usuário"
Confira alguns detalhes importantes sobre os Firebase AI Logic API limites de taxa (cotas), especificamente, solicitações por minuto (RPM):
Ele é baseado em "Solicitações de geração de conteúdo" por usuário, por região e por minuto, e não é baseado no modelo.
É o limite de taxa aplicado a todos os usuários. No momento, não há como definir o limite de taxa para um usuário ou grupo específico de usuários*.
Ele é aplicado no nível do projeto e a todos os aplicativos e endereços IP que usam esse projeto do Firebase.
Ele se aplica a qualquer chamada que venha especificamente de qualquer Firebase AI Logic SDK.
O limite de taxa padrão é de 100 RPM por usuário.
Observe que você ainda precisa considerar os limites do seu provedor Gemini API (consulte acima), que têm precedência sobre a API Firebase AI Logic.
* Se você estiver usando a Vertex AI Gemini API e seu app direcionar os usuários para regiões diferentes (por exemplo, usando Firebase Remote Config), poderá definir um limite de taxa específico para usuários em uma região específica.
Ajustar o limite de taxa "por usuário"
Para ajustar um limite de taxa (cota), é necessário ter a permissão serviceusage.quotas.update, que está incluída por padrão no papel de proprietário e editor.
Saiba como editar o limite de taxa (cota) ou solicitar um aumento:
No console Google Cloud, acesse a página da Firebase AI Logic API.
Clique em Gerenciar.
Mais abaixo na página, clique na guia Cotas e limites do sistema.
Filtre a tabela para mostrar as cotas de interesse, como a capacidade (solicitações de geração de conteúdo) e a região.
Por exemplo, para conferir as cotas por usuário para gerar solicitações de conteúdo em qualquer uma das regiões asiáticas com suporte, o filtro seria semelhante a este:
Generate content requests+Dimension:region:asiaMarque a caixa de seleção à esquerda de cada cota de interesse.
No final da linha da cota, clique em , e selecione Editar cota.
No formulário Alterações de cota, faça o seguinte:
Insira a cota aumentada no campo Novo valor.
Essa cota é aplicada no nível do projeto e é compartilhada entre todos os aplicativos e endereços IP que usam esse projeto do Firebase.
Preencha todos os campos do formulário e clique em Concluído.
Clique em Enviar solicitação.