Opzioni di configurazione per le esperienze ibride nelle app web


Questa pagina descrive le seguenti opzioni di configurazione:

Puoi anche generare output strutturato, inclusi JSON ed enum.

Prima di iniziare

Assicurati di aver completato la guida introduttiva per la creazione di esperienze ibride.

Imposta una modalità di inferenza

Gli esempi nella guida introduttiva utilizzano la modalità PREFER_ON_DEVICE, ma questa è solo una delle quattro modalità di inferenza disponibili .

  • PREFER_ON_DEVICE: utilizza il modello sul dispositivo se disponibile; in caso contrario, utilizza il modello ospitato sul cloud.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: utilizza il modello sul dispositivo se disponibile; in caso contrario, genera un'eccezione.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: utilizza il modello ospitato sul cloud se disponibile; in caso contrario, utilizza il modello sul dispositivo.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: utilizza il modello ospitato sul cloud se disponibile; in caso contrario, genera un'eccezione.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

Determina se è stata utilizzata l'inferenza sul dispositivo o nel cloud

Se utilizzi le modalità di inferenza PREFER_ON_DEVICE o PREFER_IN_CLOUD, potrebbe essere utile sapere quale modalità è stata utilizzata per determinate richieste. Queste informazioni sono fornite dalla proprietà inferenceSource di ogni risposta (disponibile a partire da JS SDK v12.5.0).

Quando accedi a questa proprietà, il valore restituito sarà ON_DEVICE o IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Sostituisci il modello di fallback predefinito

Il modello predefinito ospitato sul cloud è gemini-2.5-flash-lite (a partire da JS SDK v12.8.0).

Questo modello è il modello di fallback ospitato sul cloud quando utilizzi la modalità PREFER_ON_DEVICE. È anche il modello predefinito quando utilizzi la modalità ONLY_IN_CLOUD o PREFER_IN_CLOUD.

Puoi utilizzare l' inCloudParams opzione di configurazione per specificare un modello predefinito alternativo ospitato sul cloud.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Trova i nomi dei modelli per tutti i modelli Gemini supportati.

Utilizza la configurazione del modello per controllare le risposte

In ogni richiesta a un modello, puoi inviare una configurazione del modello per controllare il modo in cui il modello genera una risposta. I modelli ospitati sul cloud e i modelli sul dispositivo offrono opzioni di configurazione diverse.

La configurazione viene mantenuta per la durata dell'istanza. Se vuoi utilizzare una configurazione diversa, crea una nuova istanza GenerativeModel con quella configurazione.

Configura il modello ospitato sul cloud

Utilizza l' inCloudParams opzione per configurare un modello Gemini ospitato sul cloud. Scopri di più sui parametri disponibili.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Configura il modello sul dispositivo

Tieni presente che l'inferenza che utilizza un modello sul dispositivo utilizza l' API Prompt di Chrome.

Utilizza l' onDeviceParams opzione per configurare un modello sul dispositivo. Scopri di più sui parametri disponibili.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});