Opciones de configuración para experiencias híbridas en apps web

En esta página, se describen las siguientes opciones de configuración:

• Establece un modo de inferencia

• Anula el modelo de resguardo predeterminado alojado en la nube

• Usa la configuración del modelo para controlar las respuestas, como la temperatura

También puedes generar resultados estructurados, incluidos JSON y enumeraciones.

Antes de comenzar

Asegúrate de haber completado la guía de introducción para crear experiencias híbridas.

Establece un modo de inferencia

En los ejemplos de la guía de introducción, se usa el modo PREFER_ON_DEVICE, pero este es solo uno de los cuatro modos de inferencia disponibles .

• PREFER_ON_DEVICE: Usa el modelo en el dispositivo si está disponible; de lo contrario, usa el modelo alojado en la nube.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ONLY_ON_DEVICE: Usa el modelo en el dispositivo si está disponible; de lo contrario, lanza una excepción.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• PREFER_IN_CLOUD: Usa el modelo alojado en la nube si está disponible; de lo contrario, usa el modelo en el dispositivo.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ONLY_IN_CLOUD: Usa el modelo alojado en la nube si está disponible; de lo contrario, lanza una excepción.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

Determina si se usó la inferencia en el dispositivo o en la nube

Si usas PREFER_ON_DEVICE o PREFER_IN_CLOUD modos de inferencia, entonces puede ser útil saber qué modo se usó para las solicitudes determinadas. Esta información la proporciona la propiedad inferenceSource de cada respuesta (disponible a partir del SDK de JS v12.5.0).

Cuando accedas a esta propiedad, el valor que se mostrará será ON_DEVICE o IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Anula el modelo de resguardo predeterminado

El modelo predeterminado alojado en la nube es gemini-2.5-flash-lite (a partir del SDK de JS v12.8.0).

Este modelo es el modelo de resguardo alojado en la nube cuando usas el PREFER_ON_DEVICE modo. También es el modelo predeterminado cuando usas el ONLY_IN_CLOUD modo o el PREFER_IN_CLOUD modo.

Puedes usar la inCloudParams opción de configuración para especificar un modelo predeterminado alojado en la nube alternativo.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Encuentra los nombres de los modelos para todos los modelos de Gemini compatibles.

Usa la configuración del modelo para controlar las respuestas

En cada solicitud a un modelo, puedes enviar una configuración del modelo para controlar cómo el modelo genera una respuesta. Los modelos alojados en la nube y los modelos en el dispositivo ofrecen diferentes opciones de configuración.

La configuración se mantiene durante la vida útil de la instancia. Si quieres usar una configuración diferente, crea una instancia nueva de GenerativeModel con esa configuración.

Configura el modelo alojado en la nube

Usa la inCloudParams opción para configurar un modelo de Gemini alojado en la nube. Obtén información sobre los parámetros disponibles.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Configura el modelo en el dispositivo

Ten en cuenta que la inferencia con un modelo en el dispositivo usa la API de Prompt de Chrome.

Usa la onDeviceParams opción para configurar un modelo en el dispositivo. Obtén información sobre los parámetros disponibles.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});