網頁應用程式混合體驗的設定選項


本頁面說明下列設定選項：

您也可以產生結構化輸出內容，包括 JSON 和列舉。

事前準備

請確認您已完成建構混合式體驗的入門指南。

設定推論模式

入門指南中的範例使用 PREFER_ON_DEVICE 模式，但這只是四種可用的推論模式之一。

  • PREFER_ON_DEVICE：如果裝置型號適用，請使用該型號；否則改用雲端代管型號。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE：使用裝置端模型 (如有)，否則擲回例外狀況。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD：如要使用雲端代管模型，請先確認是否可用，否則改用裝置端模型。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD：如果雲端主機代管模型可用，請使用該模型；否則擲回例外狀況。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

判斷是使用裝置端還是雲端推論

如果您使用 PREFER_ON_DEVICE 或 PREFER_IN_CLOUD 推論模式，瞭解特定要求使用的模式可能會很有幫助。這項資訊是由每個回應的 inferenceSource 屬性提供 (適用於 JS SDK 12.5.0 以上版本)。

存取這個屬性時，傳回的值會是 ON_DEVICE 或 IN_CLOUD。

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

覆寫預設備援模型

預設的雲端代管模型為 gemini-2.5-flash-lite (從 JS SDK v12.8.0 開始)。

使用 PREFER_ON_DEVICE 模式時，這個模型是備用的雲端託管模型。使用 ONLY_IN_CLOUD 模式或 PREFER_IN_CLOUD 模式時，系統也會預設使用這個模型。

您可以使用 inCloudParams 設定選項，指定其他預設的雲端代管模型。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

如要查看所有支援的 Gemini 模型名稱，

使用模型設定控制回覆內容

在傳送給模型的每個要求中，您可以一併傳送模型設定，藉此控制模型生成回覆的方式。雲端代管模型和裝置端模型提供不同的設定選項。

這項設定在執行個體的生命週期內都會維持不變。如要使用其他設定，請使用該設定建立新的 GenerativeModel 執行個體。

設定雲端託管模型

使用 inCloudParams 選項設定雲端託管的 Gemini 模型。瞭解可用參數。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

設定裝置端模型

請注意，使用裝置端模型進行推論時，會用到 Chrome 的 Prompt API。

使用「onDeviceParams」選項設定裝置端模型。瞭解可用參數。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});