Requisitos e arquivos de entrada com suporte

Ao chamar a Gemini API do seu app usando um SDK Firebase AI Logic, você pode pedir ao modelo Gemini para gerar texto com base em uma entrada multimodal, como imagens, vídeos, áudios e documentos (como PDFs).

É necessário usar tipos de arquivo aceitos, especificar um tipo MIME aceito e garantir que seus arquivos e solicitações multimodais atendam aos requisitos e sigam as práticas recomendadas.

Esta página é específica para o uso de um GenerativeModel e descreve o seguinte:

Opções para fornecer arquivos em solicitações multimodais

Selecione seu provedor da API Gemini para conferir o conteúdo específico do provedor nesta página

Em cada solicitação multimodal, você sempre precisa fornecer o seguinte:

O tamanho e o número de arquivos que podem ser fornecidos na solicitação são determinados pelo tipo de arquivo de entrada, como você fornece o arquivo e o modelo usado. Para mais detalhes, consulte a seção de cada tipo de arquivo de entrada nesta página.

Opção 1: fornecer o arquivo como dados inline

Observações sobre arquivos fornecidos como dados inline:

  • Somente arquivos pequenos podem ser enviados como dados inline, porque o limite de tamanho total da solicitação é de 20 MB.

  • O arquivo é codificado em base64 em trânsito, o que aumenta o tamanho dele.

Para conferir um exemplo de como incluir um arquivo como dados inline, consulte Gerar texto com entrada de texto e arquivo (multimodal). Os SDKs para plataformas Android e Apple podem processar imagens inline em solicitações sem a necessidade de especificar o tipo MIME. Saiba mais.

Opção 2: fornecer o arquivo usando um URL

Confira os tipos de URLs aceitáveis ao usar a Gemini Developer API:

  • URL de vídeo do YouTube: o vídeo do YouTube precisa ser público ou não listado.

    É possível especificar um URL de vídeo do YouTube por solicitação.


Imagens: requisitos, práticas recomendadas e limitações

Imagens: requisitos

Nesta seção, saiba mais sobre os tipos MIME aceitos e os limites por solicitação para imagens.

Tipos MIME aceitos

Gemini modelos multimodais aceitam os seguintes tipos MIME de imagem:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

Limites por solicitação

Não há um limite específico para o número de pixels em uma imagem. No entanto, imagens maiores são reduzidas e preenchidas para caber em uma resolução máxima de 3072 x 3072, preservando a proporção original.

Número máximo de arquivos por solicitação: 3.000 arquivos de imagem

Imagens: tokenização

Veja como os tokens são calculados para imagens:

  • Se as duas dimensões de uma imagem forem menores ou iguais a 384 pixels, 258 tokens serão usados.
  • Se uma dimensão de uma imagem for maior do que 384 pixels, então a imagem será cortada em blocos. O tamanho padrão de cada bloco é a menor dimensão (largura ou altura) dividida por 1,5. Se necessário, cada bloco é ajustado para não ser menor que 256 pixels e não maior que 768 pixels. Cada bloco é redimensionado para 768 x 768 e usa 258 tokens.

Imagens: práticas recomendadas

Ao usar imagens, siga as práticas recomendadas e informações a seguir para ter os melhores resultados.

  • Se você quiser detectar texto em uma imagem, use comandos com uma única imagem para produzir resultados melhores do que comandos com várias imagens.
  • Se o comando tiver apenas uma imagem, coloque-a antes do comando de texto na solicitação.
  • Se o comando tiver várias imagens e você quiser consultá-las posteriormente no comando ou fazer com que o modelo as mencione na resposta do modelo, atribua um índice a cada imagem antes da imagem. Use a b c ou image 1 image 2 image 3 no seu índice. Confira a seguir um exemplo de uso de imagens indexadas em um comando: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Use imagens com resolução mais alta para gerar resultados melhores.
  • Inclua alguns exemplos no comando.
  • Gire as imagens para a orientação correta antes de adicioná-las ao comando.
  • Evite imagens desfocadas.

Imagens: limitações

Embora os modelos multimodais Gemini sejam poderosos em muitos casos de uso multimodais, é importante entender as limitações dos modelos:

  • Moderação de conteúdo: os modelos se recusam a fornecer respostas sobre imagens que violam nossas políticas de segurança.
  • Raciocínio espacial: os modelos não são precisos para localizar texto ou objetos em imagens. Talvez eles retornem somente as contagens aproximadas de objetos.
  • Usos médicos: os modelos não são adequados para interpretar eimagens médicas (por exemplo, raios-X e tomografias computadorizadas) ou fornecer aconselhamento médico.
  • Reconhecimento de pessoas: os modelos não são usados para identificar pessoas que não são celebridades em imagens.
  • Precisão: os modelos podem apresentar alucinação artificial ou cometer erros ao interpretar imagens de baixa qualidade, rotacionadas ou de resolução extremamente baixa. Os modelos também podem apresentar erros ao interpretar texto escrito à mão em imagens ou documentos.


Vídeo: requisitos, práticas recomendadas e limitações

Vídeo: requisitos

Nesta seção, saiba mais sobre os tipos MIME aceitos e os limites por solicitação para vídeos.

Tipos MIME aceitos

Gemini modelos multimodais aceitam os seguintes tipos MIME de vídeo:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

Limites por solicitação

Número máximo de arquivos por solicitação: 10 arquivos de vídeo

Vídeo: tokenização

Veja como os tokens são calculados para vídeos:

  • A faixa de áudio é codificada com frames de vídeo. A faixa de áudio também é dividida em entroncamentos de um segundo que representam 32 tokens. O frame de vídeo e os tokens de áudio são intercalados com os respectivos carimbos de data/hora. Os carimbos de data/hora são representados como cinco tokens.
  • Para vídeos com amostragem de 1 frame por segundo (QPS) ou menos, os carimbos de data/hora da primeira hora de vídeo são representados como cinco tokens por frame de vídeo. Os carimbos de data/hora restantes são representados como sete tokens por frame de vídeo.
  • Para vídeos com amostragem acima de 1 frame por segundo (QPS), os carimbos de data/hora da primeira hora de vídeo são representados como nove tokens por frame de vídeo. Os carimbos de data/hora restantes são representados como 11 tokens por frame de vídeo.

Vídeo: práticas recomendadas

Ao usar vídeos, siga as práticas recomendadas e informações a seguir para ter os melhores resultados:

  • Se o comando contiver um único vídeo, coloque o vídeo antes do comando de texto prompt.
  • Se você precisar de localização de carimbo de data/hora em um vídeo com áudio, peça ao modelo para gerar carimbos de data/hora que sigam o formato descrito em "Formato de carimbo de data/hora".

Vídeo: limitações

Embora os modelos multimodais Gemini sejam poderosos em muitos casos de uso multimodais, é importante entender as limitações dos modelos:

  • Moderação de conteúdo: os modelos se recusam a fornecer respostas sobre vídeos que violam nossas políticas de segurança.
  • Reconhecimento de som sem fala: os modelos compatíveis com áudio podem cometer erros ao reconhecer sons que não são fala.


Áudio: requisitos e limitações

Áudio: requisitos

Nesta seção, saiba mais sobre os tipos MIME aceitos e os limites por solicitação para áudios.

Tipos MIME aceitos

Gemini modelos multimodais aceitam os seguintes tipos MIME de áudio:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

Limites por solicitação

Número máximo de arquivos por solicitação: 1 arquivo de áudio

Áudio: limitações

Embora os modelos multimodais Gemini sejam poderosos em muitos casos de uso multimodais, é importante entender as limitações dos modelos:

  • Reconhecimento de som sem fala: os modelos compatíveis com áudio podem cometer erros ao reconhecer sons que não são fala.
  • Carimbos de data/hora somente de áudio: para gerar carimbos de data/hora com precisão para arquivos somente de áudio, configure o audio_timestamp parâmetro em generation_config.


Documentos (como PDFs): requisitos, práticas recomendadas e limitações

Documentos: requisitos

Nesta seção, saiba mais sobre os tipos MIME aceitos e os limites por solicitação para documentos (como PDFs).

Tipos MIME aceitos

Gemini modelos multimodais aceitam os seguintes tipos MIME de documento:

  • PDF - application/pdf
  • Texto - text/plain

Limites por solicitação

PDFs são tratados como imagens, portanto, uma única página de um PDF é tratada como uma imagem. O número de páginas permitidas em um comando é limitado ao número de imagens que os Gemini modelos multimodais podem aceitar.

  • Número máximo de arquivos por solicitação: 3.000 arquivos
  • Número máximo de páginas por arquivo: 1.000 páginas por arquivo
  • Tamanho máximo por arquivo: 50 MB por arquivo

Documentos: tokenização

Tokenização de PDFs

Os PDFs são tratados como imagens. Por isso, cada página de um PDF é tokenizada da mesma forma que uma imagem.

Além disso, o custo dos PDFs segue Gemini preços de imagens. Por exemplo, se você incluir um documento de duas páginas em uma chamada de API Gemini, você incorrerá em uma taxa de entrada pelo processamento de duas imagens.

Documentos: práticas recomendadas

Ao usar PDFs, siga as práticas recomendadas e informações a seguir para ter os melhores resultados:

  • Se o comando contiver um único PDF, coloque o PDF antes do comando de texto na solicitação.
  • Se você tiver um documento longo, considere dividi-lo em vários PDFs para processá-lo.
  • Use PDFs criados com texto renderizado como texto em vez de usar texto em imagens digitalizadas. Esse formato garante que o texto seja legível por máquina para que seja mais fácil editar, pesquisar e manipular o texto em comparação com PDFs de imagens digitalizadas. Isso fornece os resultados ideais ao trabalhar com documentos com muito texto, como contratos.

Documentos: limitações

Embora os modelos multimodais Gemini sejam poderosos em muitos casos de uso multimodais, é importante entender as limitações dos modelos:

  • Raciocínio espacial: os modelos não são precisos para localizar texto ou objetos em PDFs. Talvez eles retornem somente as contagens aproximadas de objetos.
  • Precisão: os modelos podem alucinar ao interpretar texto escrito à mão em documentos PDF.