Puedes compilar apps web y funciones potenciadas por IA con inferencia híbrida usando Firebase AI Logic. La inferencia híbrida permite ejecutar la inferencia con modelos integrados en el dispositivo cuando están disponibles y recurrir sin problemas a modelos alojados en la nube en caso contrario (y viceversa).
En esta página, se describe cómo comenzar a usar el SDK de cliente. Después de completar esta configuración estándar, consulta las opciones y capacidades de configuración adicionales.
Ten en cuenta que la inferencia integrada en el dispositivo a través de Firebase AI Logic es compatible con las apps web que usan la versión 12.5.0 o posterior del SDK de Firebase AI Logic y que se ejecutan en Chrome para computadoras (versión 139 o posterior).
Casos de uso y capacidades compatibles
Según los casos de uso de tu app, puedes aprovechar varios beneficios de las experiencias híbridas o integradas en el dispositivo:
Estos son los beneficios de usar un modelo integrado en el dispositivo para la inferencia:
- Privacidad mejorada
- Contexto local
- Inferencia sin costo
- Funcionalidad sin conexión
Beneficios de usar un enfoque híbrido:
- Proporciona una experiencia similar en la app, independientemente del dispositivo del usuario final
- Mejorar la disponibilidad de las funciones potenciadas por IA generativa, independientemente de la conectividad a Internet, las limitaciones de cuota o las capacidades del dispositivo
Funciones de inferencia integradas en el dispositivo compatibles
La inferencia integrada en el dispositivo solo admite la generación de texto de un solo turno (no chat) (con salida de transmisión o sin transmisión), específicamente las siguientes capacidades:
Generar texto a partir de entradas de texto e imagen, específicamente tipos de imágenes de entrada de JPEG y PNG.
Generar resultados estructurados, incluidos JSON y enumeraciones
Asegúrate de revisar la lista de funciones que aún no se admiten para la inferencia híbrida o integrada en el dispositivo que se encuentra al final de esta página.
APIs y plataformas compatibles
En las siguientes secciones, se describen las APIs, las plataformas y los navegadores compatibles.
APIs compatibles para la inferencia en la nube en comparación con la inferencia integrado en el dispositivo
La inferencia en la nube usa el proveedor de Gemini API que elijas (ya sea Gemini Developer API o Agent Platform Gemini API (formerly Vertex AI)).
La inferencia integrada en el dispositivo usa la API de Prompt de Chrome.
Plataformas y navegadores compatibles
Para la inferencia integrada en el dispositivo (que usa la API de Prompt de Chrome), el usuario final de tu app debe ejecutar Chrome en una computadora (versión 139 o posterior). Obtén más información en la documentación de Chrome.
Comienza a usar localhost
En estos pasos de introducción, se describe la configuración general requerida para cualquier solicitud de instrucción admitida que quieras enviar.
Puedes obtener más información para usar las APIs en localhost en la documentación de Chrome.
Paso 1: Configura Chrome y la API de Prompt para la inferencia integrada en el dispositivo
Asegúrate de usar una versión reciente de Chrome. Actualiza en chrome://settings/help.
La inferencia integrada en el dispositivo está disponible a partir de la versión 139 de Chrome.Para habilitar el modelo multimodal integrado en el dispositivo, establece la siguiente marca en Habilitado:
chrome://flags/#prompt-api-for-gemini-nano-multimodal-input
Reinicia Chrome.
(Opcional) Descarga el modelo integrado en el dispositivo antes de la primera solicitud.
La API de Prompt está integrada en Chrome, pero el modelo integrado en el dispositivo no está disponible de forma predeterminada. Si aún no descargaste el modelo antes de tu primera solicitud de inferencia integrada en el dispositivo, la solicitud iniciará automáticamente la descarga del modelo en segundo plano.
Paso 2: Configura un proyecto de Firebase y conecta tu app a Firebase
Accede a la consola de Firebase y, luego, selecciona tu proyecto de Firebase.
En la consola de Firebase, ve a Servicios de IA > Lógica de IA.
Haz clic en Comenzar para iniciar un flujo de trabajo guiado que te ayude a configurar las APIs y los recursos necesarios para tu proyecto.
Si se te solicita, sigue las instrucciones en pantalla para registrar tu app y agregar su configuración de Firebase.
Cuando se te solicite que elijas un "proveedor de la API de Gemini", te recomendamos que selecciones la API de Gemini Developer, que te permite comenzar rápidamente sin costo.
En cualquier momento posterior, puedes configurar el Agent Platform Gemini API (formerly Vertex AI) (y su requisito para la facturación).
Continúa en el flujo de trabajo para configurar las APIs requeridas y los servicios asociados para Firebase AI Logic.
En esta etapa del flujo de trabajo, se aplica de manera forzosa Firebase App Check para AI Logic, que es un servicio fundamental para ayudar a proteger Gemini API cuando se accede directamente desde tu app. Como parte de los primeros pasos (consulta los pasos más adelante en esta guía), deberás configurar el proveedor de depuración de App Check para el desarrollo local cuando se aplique de manera forzosa App Check.
Continúa con el siguiente paso de esta guía para agregar los SDKs necesarios a tu app.
Paso 3: Agrega el SDK
La biblioteca de Firebase proporciona acceso a las APIs para interactuar con modelos generativos. La biblioteca se incluye como parte del SDK de Firebase JavaScript para la Web.
Instala el SDK de Firebase JS para la Web con npm:
npm install firebaseInicializa Firebase en tu app:
import { initializeApp } from "firebase/app"; import { initializeAppCheck } from "firebase/app-check"; // TODO(developer) Replace the following with your app's Firebase configuration // See: https://firebase.google.com/docs/web/learn-more#config-object const firebaseConfig = { // ... }; // Initialize FirebaseApp const firebaseApp = initializeApp(firebaseConfig);
Paso 4: Configura el proveedor de depuración de App Check para el desarrollo local
Como parte del flujo de trabajo de configuración guiada para AI Logic en la consola, se aplica automáticamente Firebase App Check para proteger el Gemini API. Para el desarrollo local, debes configurar el proveedor de depuración de App Check para omitir la certificación y, al mismo tiempo, mantener la aplicación de App Check.
A continuación, se explica cómo usar el proveedor de depuración mientras ejecutas la app desde localhost
de forma interactiva (por ejemplo, durante el desarrollo local):
En la compilación de depuración, habilita el modo de depuración estableciendo
self.FIREBASE_APPCHECK_DEBUG_TOKENentrueantes de inicializar App Check. Por ejemplo:self.FIREBASE_APPCHECK_DEBUG_TOKEN = true; initializeAppCheck(firebaseApp, { /* App Check options */ });Visita la app web de forma local y abre las herramientas para desarrolladores del navegador. En la consola de depuración, verás un token de depuración:
AppCheck debug token: "123a4567-b89c-12d3-e456-789012345678". You will need to safelist it in the Firebase console for it to work.Registra tu token de depuración con App Check:
En la consola de Firebase, ve a la pestaña Seguridad > Verificación de aplicaciones > Apps.
Busca tu app, haz clic en el menú ampliado () y, luego, selecciona Administrar tokens de depuración.
Sigue las instrucciones en pantalla para registrar tu token de depuración.
Para obtener detalles sobre el proveedor de depuración (incluido cómo obtener un token de depuración nuevo), consulta la documentación oficial de App Check.
Paso 5: Inicializa el servicio y crea una instancia de modelo
|
Haz clic en tu proveedor de Gemini API para ver el contenido y el código específicos del proveedor en esta página. |
Configura lo siguiente antes de enviar una solicitud de instrucción al modelo:
Inicializa el servicio para el proveedor de la API que elegiste.
Crear una instancia de
GenerativeModel. Asegúrate de establecer elmodeen uno de los siguientes valores:PREFER_ON_DEVICE: Usa el modelo integrado en el dispositivo si está disponible; de lo contrario, recurre al modelo alojado en la nube.ONLY_ON_DEVICE: Usa el modelo integrado en el dispositivo si está disponible; de lo contrario, arroja una excepción.PREFER_IN_CLOUD: Usa el modelo alojado en la nube si está disponible; de lo contrario, recurre al modelo integrado en el dispositivo.ONLY_IN_CLOUD: Usa el modelo alojado en la nube si está disponible; de lo contrario, arroja una excepción.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
Paso 6: Inicializa el modelo integrado en el dispositivo
Debes llamar a initializeDeviceModel() después o durante una interacción de la página del usuario final (como un clic en un botón) y antes de enviar una solicitud de instrucción al modelo. Obtén más información sobre el
requisito de activación del usuario
en la documentación de Chrome.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
// `initializeDeviceModel` must be called:
// (1) after or on an end-user page interaction such as a button click
// and
// (2) before any queries to the model (such as `generateContent()`)
// You may want to `await` this promise if using `ONLY_ON_DEVICE` (see note below).
model.initializeDeviceModel((val) =>
// Example: "Download progress: 72.62%""
console.log(`Download progress: ${Math.round(val*10000) / 100}%`)
);
Paso 7: Envía una solicitud de instrucción a un modelo
En esta sección, se muestra cómo enviar varios tipos de entrada para generar diferentes tipos de salida, incluidos los siguientes:
- Genera texto a partir de una entrada de solo texto
- Genera texto a partir de entradas de texto e imagen (multimodales)
Si quieres generar un resultado estructurado (como JSON o enumeraciones), usa uno de los siguientes ejemplos de "generar texto" y, además, configura el modelo para que responda según un esquema proporcionado.
Genera texto a partir de una entrada de solo texto
| Antes de probar este ejemplo, asegúrate de haber completado la sección Comienza de esta guía. |
Puedes usar
generateContent()
para generar texto a partir de una instrucción que contenga texto:
// Imports + initialization of FirebaseApp and backend service + creation of model instance
// Wrap in an async function so you can use await
async function run() {
// Provide a prompt that contains text
const prompt = "Write a story about a magic backpack."
// To generate text output, call `generateContent` with the text input
const result = await model.generateContent(prompt);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Ten en cuenta que Firebase AI Logic también admite la transmisión de respuestas de texto con
generateContentStream
(en lugar de generateContent).
Genera texto a partir de entradas de texto e imagen (multimodales)
| Antes de probar este ejemplo, asegúrate de haber completado la sección Comienza de esta guía. |
Puedes usar
generateContent()
para generar texto a partir de una instrucción que contenga archivos de texto y de imagen, proporcionando el mimeType de cada archivo de entrada y el archivo en sí.
Los tipos de imágenes de entrada admitidos para la inferencia integrada en el dispositivo son PNG y JPEG.
// Imports + initialization of FirebaseApp and backend service + creation of model instance
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(',')[1]);
reader.readAsDataURL(file);
});
return {
type: "inlineData",
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the image
const prompt = "Write a poem about this picture:";
const fileInputEl = document.querySelector("input[type=file]");
const imagePart = await fileToGenerativePart(fileInputEl.files[0]);
// To generate text output, call `generateContent` with the text and image
const result = await model.generateContent([prompt, imagePart]);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Ten en cuenta que Firebase AI Logic también admite la transmisión de respuestas de texto con
generateContentStream
(en lugar de generateContent).
¿Qué más puedes hacer?
Puedes usar varias opciones y capacidades de configuración adicionales para tus experiencias híbridas:
Determinar si se usó la inferencia integrada en el dispositivo o en la nube
Anula el modelo de resguardo predeterminado alojado en la nube.
Usa la configuración del modelo para controlar las respuestas.
Generar resultados estructurados (como JSON y enumeraciones)
Funciones que aún no se admiten
No todas las funciones del SDK web o de los modelos alojados en la nube están disponibles para la inferencia híbrida o integrada en el dispositivo.
Funciones que aún no se admiten para las implementaciones híbridas
Las siguientes funciones no se pueden usar con implementaciones híbridas (ni integrado en el dispositivo ni a través de un resguardo en la nube):
Gemini Live API: No se admite la transmisión bidireccional en tiempo real.
Plantillas de instrucciones del servidor: No se admiten las plantillas de instrucciones del servidor administradas.
Recuento de tokens: No se debe confiar en el recuento de tokens porque el recuento variará entre los modelos alojados en la nube y los integrados en el dispositivo, por lo que no hay un resguardo intuitivo.
Funciones que aún no se admiten para la inferencia integrada en el dispositivo
Las siguientes funciones aún no son compatibles con la inferencia integrada en el dispositivo, pero están disponibles para los modelos alojados en la nube.
Genera imágenes con modelos de Gemini Nano Banana
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
ONLY_ON_DEVICEarrojará un error.
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
Generar texto a partir de tipos de entrada de archivos de imagen que no sean JPEG ni PNG
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
ONLY_ON_DEVICEarrojará un error.
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
Genera texto a partir de entradas multimodales de audio, video y documentos (PDF)
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
ONLY_ON_DEVICEarrojará un error.
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
Proporcionar archivos con URLs en solicitudes multimodales Debes proporcionar archivos como datos intercalados a los modelos integrados en el dispositivo.
Chat de varios turnos
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
ONLY_ON_DEVICEarrojará un error.
- Puede recurrir al modelo alojado en la nube;
sin embargo, el modo
Proporcionar al modelo herramientas para ayudarlo a generar su respuesta (como llamadas a funciones, ejecución de código, contexto de URL, fundamentación con
Google Search y fundamentación conGoogle Maps )La supervisión de la IA en la consola de Firebase no muestra ningún dato de la inferencia integrada en el dispositivo (incluidos los registros del dispositivo). Sin embargo, cualquier inferencia que use un modelo alojado en la nube se puede supervisar como cualquier otra inferencia a través de Firebase AI Logic.
Limitaciones adicionales
Además de lo anterior, la inferencia integrada en el dispositivo tiene las siguientes limitaciones:
El usuario final de tu app debe ejecutar Chrome en computadoras (versión 139 o posterior) con los parámetros de configuración requeridos habilitados.
El modelo integrado en el dispositivo requiere suficiente espacio de almacenamiento en el dispositivo del usuario para la descarga inicial del modelo.
Envía comentarios sobre tu experiencia con Firebase AI Logic