|
Clique no seu provedor de Gemini API para conferir o conteúdo e o código específicos do provedor nesta página. |
Os limites de taxa (geralmente chamados de cotas) regulam o número de solicitações que você pode fazer à Gemini API em um determinado período. Esses limites ajudam a garantir o uso justo, proteger contra abusos e manter o desempenho do sistema para todos os usuários.
Ao usar Firebase AI Logic para acessar modelos do Gemini, os limites de taxa do seu projeto dependem do provedor de Gemini API escolhido. O Firebase AI Logic também oferece uma maneira de definir limites de taxa "por usuário".
Confira os limites de taxa para o Gemini Developer API
Se você exceder sua cota ou se a capacidade do modelo que você está acessando estiver esgotada, você vai receber uma mensagem de erro 429.
Como funcionam os limites de taxa (cotas)
As limitações de taxa (cotas) são medidas em quatro dimensões:
- Solicitações por minuto (RPM)
- Solicitações por dia (RPD, na sigla em inglês)
- Tokens por minuto (TPM)
- Tokens por dia (TPD)
Seu uso é avaliado em relação a cada limite, e exceder qualquer um deles vai acionar um erro 429 de cota excedida. Por exemplo, se o limite de RPM for 20, fazer 21 solicitações em um minuto vai resultar em um erro, mesmo que você não tenha excedido o TPM ou outros limites.
Os limites de taxa são aplicados no nível do projeto e se aplicam a todos os aplicativos e endereços IP que usam esse projeto do Firebase.
Os limites variam de acordo com o modelo específico usado, e alguns limites se aplicam apenas a modelos específicos.
Os limites de taxa são mais restritos para modelos experimentais e de pré-lançamento.
Solicitar um aumento no limite de taxa
Se você estiver em um "nível pago" da Gemini Developer API, poderá solicitar um aumento do limite de taxa.
Definir limites de taxa por usuário
Para usar o Firebase AI Logic, seu projeto precisa do provedor Gemini API escolhido ativado, mas você também precisa da API Firebase AI Logic ativada, que atua como um gateway entre nossos SDKs de cliente e seu provedor Gemini API. Essa API é ativada para você quando você configura inicialmente o Firebase AI Logic no seu projeto do Firebase.
É possível usar a limitação de taxa (cota) da API Firebase AI Logic como um limite de taxa "por usuário" para seu app, especificamente para os recursos de IA que dependem de Firebase AI Logic. Defina esse limite para acomodar de forma razoável um único usuário que acessa seus recursos de IA, garantindo também que nenhum usuário ultrapasse os limites do seu provedor de Gemini API (que deve ser compartilhado por todos os usuários).
Detalhes sobre o limite de taxa por usuário
Confira alguns detalhes importantes sobre os limites de taxa (cotas) da API Firebase AI Logic, especificamente, solicitações por minuto (RPM):
Ela se baseia em "Solicitações de geração de conteúdo" por usuário, por região e por minuto, e não se baseia no modelo.
É o limite de taxa aplicado a todos os usuários. No momento, não é possível definir o limite de taxa para um usuário ou grupo de usuários específico*.
Ela se aplica no nível do projeto e a todos os aplicativos e endereços IP que usam esse projeto do Firebase.
Ela se aplica a qualquer chamada que venha especificamente de qualquer SDK do Firebase AI Logic.
O limite de taxa padrão é de 100 RPM por usuário.
Ainda é preciso considerar os limites do provedor de Gemini API (veja acima), que têm precedência sobre a API Firebase AI Logic.
* Se você estiver usando o Agent Platform Gemini API (formerly Vertex AI) e seu app direcionar os usuários para regiões diferentes (por exemplo, usando Firebase Remote Config), será possível definir um limite de taxa específico para usuários em uma região específica.
Ajustar o limite de taxa por usuário
Para ajustar um limite de taxa (cota), é preciso ter a permissão serviceusage.quotas.update,
que está incluída por padrão nos papéis de proprietário e editor.
Veja como editar o limite de taxa (cota) ou solicitar um aumento:
No console do Google Cloud, acesse a página da API Firebase AI Logic.
Clique em Gerenciar.
Mais abaixo na página, clique na guia Cotas e limites do sistema.
Filtre a tabela para mostrar as cotas de interesse, como a capacidade (solicitações para gerar conteúdo) e a região.
Por exemplo, para conferir as cotas por usuário para gerar solicitações de conteúdo em qualquer uma das regiões asiáticas compatíveis, o filtro seria semelhante a este:
Generate content requests+Dimension:region:asiaMarque a caixa de seleção à esquerda de cada cota de interesse.
No final da linha da cota, clique em e selecione Editar cota.
No formulário Mudanças de cota, faça o seguinte:
Insira a cota maior no campo Novo valor.
Essa cota se aplica para envolvidos no projeto e é compartilhada entre todos os aplicativos e endereços IP que usam esse Projeto do Firebase.
Preencha todos os campos do formulário e clique em Concluído.
Clique em Enviar solicitação.