Genera texto desde instrucciones multimodales con la API de Gemini


Cuando llames a Gemini API desde tu app con un SDK de Vertex AI in Firebase, sucederá lo siguiente: puedes indicarle al modelo de Gemini que genere texto basado en una entrada multimodal. Las instrucciones multimodales pueden incluir múltiples modalidades (o tipos de entrada), como texto junto con imágenes, archivos PDF, videos y audio.

Para probar e iterar instrucciones multimodales, recomendamos usar Vertex AI Studio

Antes de comenzar

Si aún no lo hiciste, completa la guía de introducción a los SDK de Vertex AI in Firebase. Asegúrate de haber hecho lo siguiente:

  1. Configura un proyecto de Firebase nuevo o existente, incluido el uso del plan de precios Blaze y la habilitación de las APIs requeridas.

  2. Conecta tu app a Firebase, lo que incluye registrarla y agregar la configuración de Firebase a ella.

  3. Agrega el SDK y, luego, inicializa el servicio de Vertex AI y el modelo generativo en tu app.

Después de conectar la app a Firebase, agregar el SDK e inicializar la el servicio de Vertex AI y el modelo generativo, ya puedes llamar a Gemini API.

Genera texto a partir de texto y una sola imagen

Asegúrate de haber completado la sección Antes de comenzar de esta guía antes de probar este ejemplo.

Puedes llamar a Gemini API con instrucciones multimodales que incluyan texto y un solo archivo (como una imagen, como se muestra en este ejemplo). Para estas llamadas, debes usar un modelo que admita instrucciones multimodales (como Gemini 1.5 Pro).

Los archivos compatibles incluyen imágenes, archivos PDF, videos, audio y mucho más. Asegúrate de revisar los requisitos y las recomendaciones para los archivos de entrada.

Elige si quieres transmitir la respuesta (generateContentStream) o esperar. para la respuesta hasta que se genere el resultado completo (generateContent).

Transmisión

Puede lograr interacciones más rápidas si no espera el resultado completo de la generación del modelo y, en su lugar, usar la transmisión para manejar resultados parciales.

Sin transmisión

También puedes esperar el resultado completo en lugar de transmitirlo. el resultado solo se muestra después de que el modelo completa toda la generación el proceso de administración de recursos.

Descubre cómo elegir un modelo de Gemini y, opcionalmente, una ubicación adecuados para tu caso de uso y app.

Genera texto a partir de texto y varias imágenes

Asegúrate de haber completado la sección Antes de comenzar de esta guía antes de probar este ejemplo.

Puedes llamar a Gemini API con instrucciones multimodales que incluyan texto y varios archivos (como imágenes, como se muestra en este ejemplo). Para estas llamadas, debes usar un modelo que admita instrucciones multimodales (como Gemini 1.5 Pro).

Los archivos compatibles incluyen imágenes, PDF, video, audio y mucho más. Asegúrate de revisar el requisitos y recomendaciones para los archivos de entrada

Elige si quieres transmitir la respuesta (generateContentStream) o esperar. para la respuesta hasta que se genere el resultado completo (generateContent).

Transmisión

Puede lograr interacciones más rápidas si no espera el resultado completo de la generación del modelo y, en su lugar, usar la transmisión para manejar resultados parciales.

Sin transmisión

También puedes esperar el resultado completo la transmisión; el resultado solo se devuelve después de que el modelo completa todo de generación de demanda.

Aprende a elegir un modelo de Gemini y, de manera opcional, una ubicación adecuada para tu caso de uso y app.

Genera texto a partir de texto y un video

Asegúrate de haber completado el lab Antes de comenzar de esta guía antes de probar esta muestra.

Puedes llamar a Gemini API con instrucciones multimodales que incluyan texto y un solo video (como se muestra en este ejemplo). Para estos llamadas, debes usar un modelo que admita instrucciones multimodales (como Gemini 1.5 Pro).

Asegúrate de revisar el requisitos y recomendaciones para los archivos de entrada

Elige si quieres transmitir la respuesta (generateContentStream) o esperar. para la respuesta hasta que se genere el resultado completo (generateContent).

Transmisión

Puedes lograr interacciones más rápidas si no esperas a que se genere todo el resultado del modelo y, en su lugar, usas la transmisión para controlar los resultados parciales.

Sin transmisión

Como alternativa, puedes esperar a que se muestre todo el resultado en lugar de transmitirlo. El resultado solo se muestra después de que el modelo completa todo el proceso de generación.

Aprende a elegir un modelo de Gemini y, de manera opcional, una ubicación adecuada para tu caso de uso y app.

Requisitos y recomendaciones para los archivos de entrada

Para obtener información sobre los tipos de archivos compatibles, cómo especificar el tipo de MIME y cómo hacer asegúrate de que tus archivos y solicitudes multimodales cumplan con los requisitos y sigan prácticas recomendadas, consulta Archivos de entrada admitidos y requisitos para Vertex AI Gemini API.

¿Qué más puedes hacer?

  • Obtén más información para contar tokens antes de enviar instrucciones largas al modelo.
  • Configura Cloud Storage for Firebase para que puedas incluir archivos grandes en tus solicitudes multimodales con URLs Cloud Storage. Los archivos pueden incluir imágenes, archivos PDF, videos y audio.
  • Comienza a pensar en prepararte para la producción, incluidas configura Firebase App Check para proteger Gemini API del abuso de clientes no autorizados.

Prueba otras funciones de Gemini API

Aprende a controlar la generación de contenido

También puedes experimentar con instrucciones y configuraciones de modelos usando Vertex AI Studio

Más información sobre los modelos de Gemini

Obtén información sobre los modelos disponibles para varios casos de uso y sus cuotas y precios.


Enviar comentarios sobre tu experiencia con Vertex AI in Firebase