Archivos de entrada y requisitos compatibles con la API de Gemini de Vertex AI

Cuando llamas a Vertex AI Gemini API desde tu app con un SDK Vertex AI in Firebase, puedes indicarle al modelo de Gemini que genere texto basado en una entrada multimodal. Las instrucciones multimodales pueden incluir varias modalidades (o tipos de entrada), como texto junto con imágenes, PDF, video y audio.

Para las partes que no son de texto de la entrada (como los archivos multimedia), debes usar tipos de archivo admitidos, especificar un tipo de MIME admitido y asegurarte de que tus archivos y solicitudes multimodales cumplan con los requisitos y sigan las prácticas recomendadas.

En esta página, se describen los tipos de MIME admitidos, las prácticas recomendadas y las limitaciones para lo siguiente:

Requisitos específicos de los SDKs de Vertex AI in Firebase

Para los SDKs Vertex AI in Firebase, el tamaño total máximo de solicitud es de 20 MB. Recibirás un error HTTP 413 si una solicitud es demasiado grande.



Imágenes: Requisitos, prácticas recomendadas y limitaciones

Imágenes: Requisitos

En esta sección, obtendrás información sobre los tipos de MIME compatibles y los límites por solicitud de imágenes.

Tipos de MIME compatibles

Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de imagen:

Tipo MIME de imagen Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PNG - image/png
JPEG - image/jpeg
WebP: image/webp

Límites por solicitud

No hay un límite específico para la cantidad de píxeles en una imagen. Sin embargo, las imágenes más grandes se reducen y se rellenan para adaptarse a una resolución máxima de 3,072 x 3,072, a la vez que conservan su relación de aspecto original.

Esta es la cantidad máxima de archivos de imagen permitidos en una solicitud de instrucción:

  • Gemini 1.0 Pro Vision: 16 imágenes
  • Gemini 1.5 Flash y Gemini 1.5 Pro: 3,000 imágenes

Imágenes: Tokenización

A continuación, te explicamos cómo se calculan los tokens para las imágenes:

  • Gemini 1.0 Pro Vision: Cada imagen representa 258 tokens.
  • Gemini 1.5 Flash y Gemini 1.5 Pro:
    • Si ambas dimensiones de una imagen son menores o iguales que 384 píxeles, se usan 258 tokens.
    • Si una dimensión de una imagen es superior a 384 píxeles, la imagen se corta en mosaicos. El tamaño de cada mosaico se establece de forma predeterminada en la dimensión más pequeña (ancho o alto) dividida por 1.5. Si es necesario, cada mosaico se ajusta para que no sea inferior a 256 píxeles ni mayor que 768 píxeles. Luego, cada tarjeta cambia de tamaño a 768 × 768 y usa 258 tokens.

Imágenes: Prácticas recomendadas

Cuando uses imágenes, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados.

  • Si quieres detectar texto en una imagen, usa instrucciones con una sola imagen para producir mejores resultados que las instrucciones con varias imágenes.
  • Si la instrucción contiene una sola imagen, colócala antes de la instrucción de texto en tu solicitud.
  • Si tu instrucción contiene varias imágenes y quieres consultarlas más adelante en la instrucción o hacer que el modelo haga referencia a ellas en la respuesta del modelo, puede ser útil darle a cada imagen un índice antes de que aparezca. Usa a b c or image 1 image 2 image 3 para tu índice. El siguiente es un ejemplo del uso de imágenes indexadas en un mensaje:
    image 1 
    image 2 
    image 3 
    
    Write a blogpost about my day using image 1 and image 2. Then, give me ideas
    for tomorrow based on image 3.
  • Usa imágenes con mayor resolución para obtener mejores resultados.
  • Incluye algunos ejemplos en el mensaje.
  • Rota las imágenes a su orientación adecuada antes de agregarlas al mensaje.
  • Evita las imágenes borrosas.

Imágenes: Limitaciones

Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:

  • Moderación de contenido: Los modelos se niegan a proporcionar respuestas en las imágenes que infringen nuestras políticas de seguridad.
  • Razonamiento espacial: Los modelos no son precisos para ubicar texto u objetos en imágenes. Es posible que solo muestren los recuentos aproximados de objetos.
  • Usos médicos: Los modelos no son adecuados para interpretar imágenes médicas (por ejemplo, radiografías y tomografías computarizadas) ni brindar asesoramiento médico.
  • Reconocimiento de personas: Los modelos no están diseñados para identificar a personas que no son celebridades en imágenes.
  • Exactitud: Los modelos pueden tener alucinaciones o cometer errores al interpretar imágenes de baja calidad, rotadas o con una resolución extremadamente baja. Los modelos también pueden tener alucinaciones cuando se interpreta texto escrito a mano en documentos de imágenes.



Video: Requisitos, prácticas recomendadas y limitaciones

Video: Requisitos

En esta sección, obtendrás información sobre los tipos de MIME compatibles y los límites por solicitud de video.

Tipos de MIME compatibles

Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de video:

Tipo de MIME de video Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
FLV - video/x-flv
MOV - video/quicktime
MPEG - video/mpeg
MPEGPS - video/mpegps
MPG - video/mpg
MP4 - video/mp4
WEBM - video/webm
WMV - video/wmv
3GPP - video/3gpp

Límites por solicitud

Esta es la cantidad máxima de archivos de video permitidos en una solicitud de instrucciones:

  • Gemini 1.0 Pro Vision: 1 archivo de video
  • Gemini 1.5 Flash y Gemini 1.5 Pro: 10 archivos de video

Video: Asignación de token

A continuación, te mostramos cómo se calculan los tokens para los videos:

  • Todos los modelos multimodales de Gemini: Los videos se muestrean a 1 fotograma por segundo (FPS). Cada fotograma de video representa 258 tokens.
  • Gemini 1.5 Flash y Gemini 1.5 Pro: La pista de audio está codificada con fotogramas de video. La pista de audio también se divide en troncales de 1 segundo que cada una cuenta con 32 tokens. El fotograma y los tokens de audio se intercalan con sus marcas de tiempo. Las marcas de tiempo se representan como 7 tokens.

Video: Prácticas recomendadas

Cuando uses videos, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados:

  • Si la instrucción contiene un solo video, colócalo antes de la instrucción de texto.
  • Si necesitas la localización de marcas de tiempo en un video con audio, pídele al modelo que genere marcas de tiempo en el formato MM:SS, en el que los dos primeros dígitos representan minutos y los dos últimos segundos. Usa el mismo formato para las preguntas que preguntan sobre una marca de tiempo.
  • Ten en cuenta lo siguiente si usas Gemini 1.0 Pro Vision:

    • Usa no más de un video por instrucción.
    • El modelo solo procesa la información en los primeros dos minutos del video.
    • El modelo procesa los videos como marcos de imagen no contiguos del video. No se incluye el audio. Si notas que al modelo le falta contenido del video, intenta acortarlo para que el modelo capture una mayor parte del contenido del video.
    • El modelo no procesa información de audio ni metadatos de marca de tiempo. Debido a esto, es posible que el modelo no funcione bien en casos de uso que requieran entrada de audio, como audio de subtítulos, o información relacionada con el tiempo, como la velocidad o el ritmo.

Video: Limitaciones

Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:

  • Moderación de contenido: Los modelos se niegan a dar respuestas en los videos que infringen nuestras políticas de seguridad.
  • Reconocimiento de sonido sin voz: los modelos que admiten audio pueden cometer errores que reconozcan un sonido que no es una voz.
  • Movimiento de alta velocidad: Es posible que los modelos cometan errores cuando comprendan el movimiento de alta velocidad en videos debido a la tasa de muestreo fija de 1 fotograma por segundo (FPS).
  • Puntuación de transcripción: (si usas Gemini 1.5 Flash) Los modelos pueden mostrar transcripciones que no incluyen puntuación.



Audio: Requisitos y limitaciones

Audio: Requisitos

En esta sección, obtendrás información sobre los tipos de MIME compatibles y los límites por solicitud de audio.

Tipos de MIME compatibles

Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de audio:

Tipo de MIME de audio Gemini 1.5 Flash Gemini 1.5 Pro
AAC - audio/aac
FLAC - audio/flac
MP3 - audio/mp3
MPA - audio/m4a
MPEG - audio/mpeg
MPGA - audio/mpga
MP4 - audio/mp4
OPUS - audio/opus
PCM - audio/pcm
WAV - audio/wav
WEBM - audio/webm

Límites por solicitud

Puedes incluir un máximo de 1 archivo de audio en una solicitud de instrucción.

Audio: Limitaciones

Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:

  • Reconocimiento de sonido sin voz: los modelos que admiten audio pueden cometer errores que reconozcan un sonido que no es una voz.
  • Marcas de tiempo de solo audio: Para generar marcas de tiempo con exactitud para archivos de solo audio, debes configurar el parámetro audio_timestamp en generation_config.
  • Puntuación de transcripción: (si usas Gemini 1.5 Flash) Los modelos pueden mostrar transcripciones que no incluyen puntuación.



Documentos (como PDF): Requisitos, prácticas recomendadas y limitaciones

Documentos: Requisitos

En esta sección, obtendrás información sobre los tipos de MIME admitidos y los límites por solicitud de documentos (como PDF).

Tipos de MIME compatibles

Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de documentos:

Tipo de MIME del documento Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PDF - application/pdf
Texto: text/plain

Límites por solicitud

Los PDF se tratan como imágenes, por lo que una sola página de un PDF se trata como una sola imagen. La cantidad de páginas permitidas en una instrucción se limita a la cantidad de imágenes que admite el modelo:

  • Gemini 1.0 Pro Vision: 16 páginas
  • Gemini 1.5 Pro y Gemini 1.5 Flash: 1,000 páginas

Documentos: Asignación de token

Asignación de token de PDF

Los PDF se tratan como imágenes, por lo que se asigna un token a cada página de un PDF de la misma manera que a una imagen.

Además, el costo de los PDF se basa en los precios de las imágenes de Gemini. Por ejemplo, si incluyes un PDF de dos páginas en una llamada a la API de Gemini, se te cobrará una tarifa de entrada por procesar dos imágenes.

Asignación de token de texto sin formato

Los documentos de texto sin formato se tokenizan como texto. Por ejemplo, si incluyes un documento de texto sin formato de 100 palabras en una llamada a la API de Gemini, incurrirás en una tarifa de entrada por procesar 100 palabras.

Documentos: Prácticas recomendadas

Cuando uses archivos PDF, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados:

  • Si la instrucción contiene un solo PDF, colócalo antes de la instrucción de texto de tu solicitud.
  • Si tienes un documento largo, considera dividirlo en varios PDFs para procesarlo.
  • Usa archivos PDF creados con texto procesado como texto en lugar de usar texto en las imágenes escaneadas. Este formato garantiza que el texto sea legible para las máquinas, de modo que sea más fácil para el modelo editar, buscar y manipular en comparación con los PDFs de las imágenes escaneadas. Esta práctica proporciona resultados óptimos cuando se trabaja con documentos con mucho texto, como contratos.

Documentos: Limitaciones

Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:

  • Razonamiento espacial: Los modelos no son precisos para ubicar texto o objetos en PDF. Es posible que solo muestren los recuentos aproximados de objetos.
  • Exactitud: Los modelos pueden tener alucinaciones cuando interpretan texto escrito a mano en documentos PDF.