Fichiers d'entrée compatibles et conditions requises pour l'API Gemini Vertex AI

Lorsque vous appelez Vertex AI Gemini API à partir de votre application à l'aide d'un SDK Vertex AI in Firebase, vous pouvez demander au modèle Gemini de générer du texte à partir d'une entrée multimodale. Les requêtes multimodales peuvent inclure plusieurs modalités (ou types d'entrée), comme du texte avec des images, des PDF, des vidéos et de l'audio.

Pour les parties non textuelles de l'entrée (comme les fichiers multimédias), vous devez utiliser les types de fichiers compatibles, spécifiez un type MIME pris en charge et assurez-vous que votre et les requêtes multimodales répondent aux exigences et suivent les bonnes pratiques.

Cette page décrit les types MIME pris en charge, les bonnes pratiques et les limites pour les éléments suivants:

Exigences spécifiques aux SDK Vertex AI in Firebase

Pour les SDK Vertex AI in Firebase, la taille maximale totale de la requête est de 20 Mo. Vous obtenez une erreur HTTP 413 si une requête est trop volumineuse.


Images: exigences, bonnes pratiques et limites

Images : conditions requises

Dans cette section, vous découvrirez les types MIME pris en charge et les limites par requête pour images.

Types MIME compatibles

Les modèles multimodaux Gemini sont compatibles avec les types vidéo MIME suivants :

Type MIME de l'image Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PNG - image/png
JPEG - image/jpeg
WebP - image/webp

Limites par requête

Il n'y a pas de limite spécifique au nombre de pixels dans une image. Cependant, les images plus volumineuses sont réduites et remplies pour correspondre à une résolution maximale de 3072 x 3072, tout en préservant leur format d'origine.

Voici le nombre maximal de fichiers image autorisés dans une requête de requête:

  • Gemini 1.0 Pro Vision : 16 images
  • Gemini 1.5 Flash et Gemini 1.5 Pro : 3 000 images

Images: tokenisation

Voici comment les jetons sont calculés pour les images:

  • Gemini 1.0 Pro Vision : chaque image compte pour 258 jetons.
  • Pour Gemini 1.5 Flash et Gemini 1.5 Pro :
    • Si les deux dimensions d'une image sont inférieures ou égales à 384 pixels, 258 jetons sont utilisés.
    • Si l'une des dimensions d'une image est supérieure à 384 pixels, alors l'image est recadrée en mosaïques. Chaque taille de vignette est définie par défaut sur la plus petite dimension (largeur ou hauteur), divisée par 1,5. Si nécessaire, chaque vignette est ajustée pour qu'elle ne soit pas inférieure à 256 et ne dépasse pas 768. Chaque vignette est ensuite redimensionnée au format 768x768 et utilise 258 jetons.

Images : bonnes pratiques

Lorsque vous utilisez des images, suivez les bonnes pratiques et les informations ci-dessous pour obtenir de meilleurs résultats :

  • Si vous souhaitez détecter du texte dans une image, utilisez des requêtes avec une seule image pour obtenir de meilleurs résultats qu'avec des requêtes comportant plusieurs images.
  • Si votre requête contient une seule image, placez-la avant le texte dans votre requête.
  • Si votre requête contient plusieurs images et que vous souhaitez vous y référer plus tard dans votre requête ou demander au modèle de s'y référer dans la réponse du modèle, il peut être utile de donner à chaque image un index avant l'image. Utilisez a b c ou image 1 image 2 image 3 pour votre index. Voici un exemple d'utilisation d'images indexées dans une requête : 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Utilisez des images en haute résolution, car elles offrent de meilleurs résultats.
  • Incluez quelques exemples dans la requête.
  • Faites pivoter les images dans l'orientation appropriée avant de les ajouter à la requête.
  • Évitez les images floues.

Images: limites

Bien que les modèles multimodaux Gemini soient puissants dans de nombreux cas d'utilisation multimodaux, il est important de comprendre les limites des modèles :

  • Modération de contenus : les modèles refusent de fournir des réponses sur des images qui ne respectent pas nos règles de sécurité.
  • Raisonnement spatial : les modèles ne parviennent pas à localiser précisément du texte ou des objets dans des images. Ils peuvent ne renvoyer que des décomptes approximatifs d'objets.
  • Utilisations médicales : les modèles ne conviennent pas à l'interprétation d'images médicales (par exemple, les radiographies et les scanners), ni à la fourniture de conseils médicaux.
  • Reconnaissance de personnes : les modèles ne sont pas conçus pour identifier des personnes qui ne sont pas des célébrités sur des images.
  • Précision : les modèles peuvent halluciner ou faire des erreurs lors de l'interprétation d'images de mauvaise qualité, retournées ou d'extrêmement basse résolution. Les modèles peuvent également halluciner lorsqu'ils interprètent un texte manuscrit dans et des images de documents.


Vidéo: exigences, bonnes pratiques et limites

Vidéo: configuration requise

Dans cette section, vous allez découvrir les types MIME acceptés et les limites par requête pour les vidéos.

Types MIME compatibles

Les modèles multimodaux Gemini sont compatibles avec les types vidéo MIME suivants :

Type vidéo MIME Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
FLV - video/x-flv
MOV - video/quicktime
MPEG - video/mpeg
MPEGPS - video/mpegps
MPG - video/mpg
MP4 - video/mp4
WEBM - video/webm
WMV - video/wmv
3GPP - video/3gpp

Limites par requête

Voici le nombre maximal de fichiers vidéo autorisés dans une requête d'invite :

  • Gemini 1.0 Pro Vision: un fichier vidéo
  • Gemini 1.5 Flash et Gemini 1.5 Pro : 10 fichiers vidéo

Vidéo : Tokenisation

Voici comment les jetons sont calculés pour une vidéo:

  • Tous les modèles multimodaux Gemini: les vidéos sont échantillonnées à 1 image par seconde (FPS) : Chaque image vidéo compte 258 de jetons.
  • Gemini 1.5 Flash et Gemini 1.5 Pro : la piste audio est encodée avec des images vidéo. La piste audio se compose des éléments suivants : jonctions d'une seconde représentant chacune 32 jetons. Les trames vidéo et les jetons audio sont entrelacés avec leurs codes temporels. La les horodatages sont représentés par sept jetons.

Vidéo: bonnes pratiques

Lorsque vous utilisez des vidéos, suivez les bonnes pratiques et informations suivantes meilleurs résultats:

  • Si votre requête contient une vidéo, placez-la avant la requête textuelle.
  • Si vous avez besoin de localiser le code temporel d'une vidéo avec audio, demandez au modèle pour générer des codes temporels au format MM:SS, où les deux premières chiffres représentent les minutes et les deux derniers chiffres représentent les secondes. Utilisez les le même format pour les questions qui portent sur un code temporel.

  • Prenez note des points suivants si vous utilisez Gemini 1.0 Pro Vision:

    • N'utilisez pas plus d'une vidéo par requête.
    • Le modèle ne traite les informations que dans les deux premières minutes la vidéo.
    • Le modèle traite les vidéos comme des cadres d'images non contigus de la vidéo. Le son n'est pas inclus. Si vous remarquez que le contenu de la vidéo manque dans le modèle, réduisez la durée de la vidéo pour que le modèle enregistre une plus grande partie du contenu vidéo.
    • Le modèle ne traite aucune information audio ni aucune métadonnées de code temporel. Pour cette raison, le modèle peut ne pas fonctionner correctement dans les cas d'utilisation. nécessitant une entrée audio (sous-titres, par exemple) ou comme la vitesse ou le rythme.

Vidéo: limites

Bien que les modèles multimodaux Gemini soient puissants dans de nombreux cas d'utilisation multimodaux, il est important de comprendre les limites des modèles :

  • Modération de contenus : les modèles refusent de fournir des réponses sur des vidéos qui ne respectent pas nos règles de sécurité.
  • Reconnaissance des sons non vocaux : les modèles compatibles avec l'audio peuvent faire des erreurs de reconnaissance avec les sons autres que la parole.
  • Mouvements très rapides : en raison du taux d'échantillonnage fixe d'une image par seconde (FPS), les modèles peuvent faire des erreurs lors de l'analyse de mouvements très rapides dans des vidéos.
  • Ponctuation de la transcription : (si vous utilisez Gemini 1.5 Flash) Les modèles peuvent renvoyer des transcriptions qui n'incluent pas de ponctuation.


Contenu audio: conditions requises et limites

Audio : conditions requises

Dans cette section, vous découvrirez les types MIME acceptés et les limites par requête pour l'audio.

Types MIME compatibles

Les modèles multimodaux Gemini sont compatibles avec les types MIME audio suivants:

Type MIME audio Gemini 1.5 Flash Gemini 1.5 Pro
AAC - audio/aac
FLAC - audio/flac
MP3 - audio/mp3
MPA - audio/m4a
MPEG - audio/mpeg
MPGA - audio/mpga
MP4 - audio/mp4
OPUS - audio/opus
PCM - audio/pcm
WAV - audio/wav
WEBM - audio/webm

Limites par requête

Vous pouvez inclure jusqu'à 1 fichier audio dans une requête.

Audio : limites

Bien que les modèles multimodaux Gemini soient puissants dans de nombreux cas d'utilisation multimodaux, il est important de comprendre les limites des modèles :

  • Reconnaissance des sons non vocaux : les modèles compatibles avec l'audio peuvent faire des erreurs de reconnaissance avec les sons autres que la parole.
  • Horodatages audio uniquement: pour générer précisément horodatages pour les fichiers audio uniquement, vous devez configurer le paramètre audio_timestamp dans generation_config.
  • Ponctuation pour la transcription: (si vous utilisez Gemini 1.5 Flash) Les modèles pourraient afficher les transcriptions sans ponctuation.


Documents (PDF, par exemple): exigences, bonnes pratiques et limites

Documents : conditions requises

Dans cette section, vous allez découvrir les types MIME compatibles et les limites par requête pour les documents (comme les PDF).

Types MIME compatibles

Les modèles multimodaux Gemini sont compatibles avec les types MIME de documents suivants:

Type MIME du document Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PDF - application/pdf
Texte : text/plain

Limites par requête

Les PDF sont traités comme des images. Ainsi, une seule page d'un PDF est traitée comme une seule image. Le nombre de pages autorisées dans une invite est limité au nombre d'images que le modèle peut accepter :

  • Gemini 1.0 Pro Vision: 16 pages
  • Gemini 1.5 Pro et Gemini 1.5 Flash : 1 000 pages

Documents: tokenisation

Tokenisation de PDF

Les PDF sont traités comme des images, de sorte que chaque page d'un PDF est tokenisée dans le même en tant qu'image.

De plus, le coût des fichiers PDF suit les tarifs de Gemini pour les images. Par exemple, si vous incluez un PDF de deux pages dans un appel d'API Gemini, vous des frais d'entrée pour le traitement de deux images.

Tokenisation en texte brut

Les documents en texte brut sont tokenisés en tant que texte. Par exemple, si vous incluez un document en texte brut de 100 mots dans un appel d'API Gemini, des frais d'entrée pour le traitement de 100 mots vous sont facturés.

Documents : bonnes pratiques

Lorsque vous utilisez des fichiers PDF, suivez les bonnes pratiques et informations suivantes pour obtenir de meilleurs résultats :

  • Si votre requête contient un seul fichier PDF, placez-le avant la requête textuelle.
  • Si votre document est long, envisagez de le diviser en plusieurs fichiers PDF. pour les traiter.
  • Utilisez des PDF créés avec du texte affiché sous forme de texte au lieu d'utiliser du texte dans des images numérisées. Ce format garantit que le texte est lisible par un ordinateur plus facile à modifier, à rechercher et à manipuler par le modèle des PDF contenant des images. Cette pratique fournit des résultats optimaux lorsque vous travaillez avec les documents contenant beaucoup de texte comme les contrats.

Documents: limites

Bien que les modèles multimodaux Gemini soient puissants dans de nombreux cas d'utilisation multimodaux, il est important de comprendre les limites des modèles :

  • Raisonnement spatial : les modèles ne parviennent pas à localiser précisément du texte ou des objets dans des PDF. Ils peuvent ne renvoyer que des décomptes approximatifs d'objets.
  • Précision: les modèles peuvent parfois halluciner lors de l'interprétation du texte manuscrit dans les documents PDF.