ウェブアプリのハイブリッド エクスペリエンスの構成オプション


このページでは、次の構成オプションについて説明します。

JSON や列挙型などの構造化出力を生成することもできます。

始める前に

ハイブリッド エクスペリエンスの構築に関するスタートガイドを完了していることを確認します。

推論モードを設定する

スタートガイドの例では PREFER_ON_DEVICE モードを使用していますが、これは使用可能な 4 つの推論モードの 1 つにすぎません。

  • PREFER_ON_DEVICE: オンデバイス モデルが使用可能な場合はそれを使用します。使用できない場合は、クラウドホスト型モデルにフォールバックします。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: オンデバイス モデルが使用可能な場合はそれを使用します。使用できない場合は、例外をスローします。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: クラウドホスト型モデルが使用可能な場合はそれを使用し、使用可能でない場合はオンデバイス モデルにフォールバックします。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: クラウドホスト型モデルが使用可能な場合はそれを使用し、使用可能でない場合は例外をスローします。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

デバイス上の推論とクラウド内の推論のどちらが使用されたかを判断する

PREFER_ON_DEVICE または PREFER_IN_CLOUD 推論モードを使用する場合は、特定のリクエストにどのモードが使用されたかを知っておくと役立ちます。この情報は、各レスポンスの inferenceSource プロパティによって提供されます（JS SDK v12.5.0 以降で使用可能）。

このプロパティにアクセスすると、ON_DEVICE または IN_CLOUD のいずれかの値が返されます。

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

デフォルトのフォールバック モデルをオーバーライドする

デフォルトのクラウドホスト型モデルは gemini-2.5-flash-lite です（JS SDK v12.8.0 以降）。

このモデルは、PREFER_ON_DEVICE モードを使用する場合のフォールバック クラウドホスト モデルです。ONLY_IN_CLOUD モードまたは PREFER_IN_CLOUD モードを使用する場合のデフォルト モデルでもあります。

inCloudParams 構成オプションを使用して、代替のデフォルトのクラウドホスト型モデルを指定できます。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

サポートされているすべての Gemini モデルのモデル名を確認します。

モデル構成を使用してレスポンスを制御する

モデルへのリクエストごとに、モデルがどのようにレスポンスを生成するかを制御するモデル構成を送信できます。クラウドホスト型モデルとオンデバイス モデルでは、構成オプションが異なります。

構成はインスタンスの存続期間中維持されます。別の構成を使用する場合は、その構成で新しい GenerativeModel インスタンスを作成します。

クラウドでホストされるモデルを構成する

クラウドでホストされる Gemini モデルを構成するには、inCloudParams オプションを使用します。使用可能なパラメータについて学習する。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

オンデバイス モデルを構成する

オンデバイス モデルを使用した推論では、Chrome の Prompt API が使用されます。

onDeviceParams オプションを使用して、デバイス上のモデルを構成します。使用可能なパラメータについて学習する。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});