Konfigurationsoptionen für hybride Funktionen in Web-Apps

Auf dieser Seite werden die folgenden Konfigurationsoptionen beschrieben:

• Inferenzmodus festlegen

• Standard-Fallbackmodell in der Cloud überschreiben

• Antworten mit der Modellkonfiguration steuern

Sie können auch strukturierte Ausgaben generieren, einschließlich JSON und Enums.

Hinweis

Achten Sie darauf, dass Sie den Startleitfaden für die Entwicklung hybrider Anwendungendurchgearbeitet haben.

Inferenzmodus festlegen

In den Beispielen im Startleitfaden wird der Modus PREFER_ON_DEVICE verwendet. Dies ist jedoch nur einer der vier verfügbaren Inferenzmodi.

• PREFER_ON_DEVICE: Verwenden Sie das Modell auf dem Gerät, wenn es verfügbar ist. Andernfalls greifen Sie auf das Modell in der Cloud zurück.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ONLY_ON_DEVICE: Verwenden Sie das Modell auf dem Gerät, wenn es verfügbar ist. Andernfalls wird eine Ausnahme ausgelöst.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• PREFER_IN_CLOUD: Verwenden Sie das Modell in der Cloud, wenn es verfügbar ist. Andernfalls greifen Sie auf das Modell auf dem Gerät zurück.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ONLY_IN_CLOUD: Verwenden Sie das Modell in der Cloud, wenn es verfügbar ist. Andernfalls wird eine Ausnahme ausgelöst.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

Ermitteln, ob die Inferenz auf dem Gerät oder in der Cloud verwendet wurde

Wenn Sie die Inferenzmodi PREFER_ON_DEVICE oder PREFER_IN_CLOUD verwenden, ist es möglicherweise hilfreich zu wissen, welcher Modus für bestimmte Anfragen verwendet wurde. Diese Informationen werden durch die Eigenschaft inferenceSource jeder Antwort bereitgestellt (verfügbar ab JS SDK v12.5.0).

Wenn Sie auf diese Eigenschaft zugreifen, ist der zurückgegebene Wert entweder ON_DEVICE oder IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Standard-Fallbackmodell überschreiben

Das Standardmodell in der Cloud ist gemini-3.5-flash-lite (ab JS SDK v13.0.0).

Dieses Modell ist das Fallbackmodell in der Cloud, wenn Sie den Modus PREFER_ON_DEVICE verwenden. Es ist auch das Standardmodell, wenn Sie den Modus ONLY_IN_CLOUD oder PREFER_IN_CLOUD verwenden.

Mit der inCloudParams Konfigurationsoption können Sie ein alternatives Standardmodell in der Cloud angeben.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Modellnamen für alle unterstützten Gemini-Modelle finden.

Antworten mit der Modellkonfiguration steuern

In jeder Anfrage an ein Modell können Sie eine Modellkonfiguration senden, um zu steuern, wie das Modell eine Antwort generiert. Modelle in der Cloud und Modelle auf dem Gerät bieten unterschiedliche Konfigurationsoptionen.

Die Konfiguration bleibt für die Lebensdauer der Instanz erhalten. Wenn Sie eine andere Konfiguration verwenden möchten, erstellen Sie eine neue GenerativeModel-Instanz mit dieser Konfiguration.

Modell in der Cloud konfigurieren

Verwenden Sie die inCloudParams Option, um ein in der Cloud gehostetes Gemini Modell zu konfigurieren. Erfahren Sie mehr über verfügbare Parameter.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME",
    generationConfig: {
      maxOutputTokens: 200,
      stopSequences: ["red"]
    }
  }
});

Modell auf dem Gerät konfigurieren

Beachten Sie, dass für die Inferenz mit einem Modell auf dem Gerät die Prompt API von Chrome verwendet wird.

Verwenden Sie die onDeviceParams Option, um ein Modell auf dem Gerät zu konfigurieren. Erfahren Sie mehr über verfügbare Parameter.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      expectedInputs: [{ type: "text", languages: ["en"] }],
      expectedOutputs: [{ type: "text", languages: ["en"] }],
      initialPrompts: [
        { role: "system", content: [{ type: "text", value: "You are a helpful and concise assistant." }] }
      ]
    }
  }
});

Feedback geben zu Ihren Erfahrungen mit Firebase AI Logic