Os modelos de IA generativa (como os modelos do Gemini) dividem os dados em unidades chamadas tokens para processamento. Cada modelo do Gemini tem um número máximo de tokens que pode processar em um comando e uma resposta.
Nesta página, mostramos como receber uma estimativa da contagem de tokens e o número de caracteres faturáveis de uma solicitação.
Quais informações são fornecidas na contagem?
Observe o seguinte sobre a contagem de tokens e caracteres faturáveis:
Contar o total de tokens
Essa contagem é útil para garantir que suas solicitações não ultrapassem a janela de contexto permitido.
A contagem de tokens vai refletir o tamanho de todos os arquivos (por exemplo, imagens) fornecidos como parte da entrada de solicitação. Ele não vai contar o número de imagens ou o número de segundos em um vídeo.
Para todos os modelos Gemini, um token equivale a cerca de quatro caracteres. 100 tokens equivalem a cerca de 60 a 80 palavras em inglês.
Contagem do total de caracteres faturáveis
Essa contagem é útil para entender e controlar seus custos, já que, para Vertex AI, o número de caracteres faz parte do cálculo de preços.
O número de caracteres faturáveis vai refletir o número de caracteres no texto fornecido como parte da entrada request.
No caso de Vertex AI, os tokens não fazem parte do cálculo do preço. Saiba mais sobre os limites de tokens por modelo e os preços por modelo.
Preços e cota para contar tokens e caracteres faturáveis
Não há cobrança ou restrição de cota para o uso da API CountTokens. A cota máxima para a API CountTokens é de 3.000 solicitações por minuto.