Opcje konfiguracji środowisk hybrydowych w aplikacjach internetowych


Na tej stronie opisujemy te opcje konfiguracji:

Możesz też generować dane wyjściowe o strukturze, w tym JSON i wyliczenia.

Zanim zaczniesz

Upewnij się, że masz za sobą przewodnik po tworzeniu środowisk hybrydowych.

Ustawianie trybu wnioskowania

Przykłady w przewodniku dla początkujących korzystają z trybu PREFER_ON_DEVICE, ale jest to tylko jeden z 4 dostępnych trybów wnioskowania.

  • PREFER_ON_DEVICE: używaj modelu na urządzeniu, jeśli jest dostępny; w przeciwnym razie wróć do modelu hostowanego w chmurze.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: użyj modelu na urządzeniu, jeśli jest dostępny; w przeciwnym razie zgłoś wyjątek.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: używaj modelu hostowanego w chmurze, jeśli jest dostępny; w przeciwnym razie wróć do modelu na urządzeniu.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: użyj modelu hostowanego w chmurze, jeśli jest dostępny; w przeciwnym razie zgłoś wyjątek.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

Określanie, czy użyto wnioskowania na urządzeniu czy w chmurze

Jeśli używasz trybów wnioskowania PREFER_ON_DEVICE lub PREFER_IN_CLOUD, warto wiedzieć, który tryb został użyty w przypadku poszczególnych żądań. Te informacje są podawane przez właściwość inferenceSource każdej odpowiedzi (dostępną od wersji 12.5.0 pakietu SDK JavaScript).

Gdy uzyskasz dostęp do tej właściwości, zwrócona wartość będzie wynosić ON_DEVICE lub IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Zastępowanie domyślnego modelu rezerwowego

Domyślny model hostowany w chmurze togemini-2.5-flash-lite (od wersji 12.8.0 pakietu SDK JavaScript).

Ten model jest rezerwowym modelem hostowanym w chmurze, gdy używasz trybu PREFER_ON_DEVICE. Jest to też model domyślny, gdy używasz trybu ONLY_IN_CLOUD lub PREFER_IN_CLOUD.

Opcja konfiguracji inCloudParams umożliwia określenie alternatywnego domyślnego modelu hostowanego w chmurze.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Znajdź nazwy wszystkich obsługiwanych modeli Gemini.

Kontrolowanie odpowiedzi za pomocą konfiguracji modelu

W każdym żądaniu wysyłanym do modelu możesz przesłać konfigurację modelu, aby określić, jak ma on generować odpowiedź. Modele hostowane w chmurze i modele na urządzeniu oferują różne opcje konfiguracji.

Konfiguracja jest utrzymywana przez cały okres istnienia instancji. Jeśli chcesz użyć innej konfiguracji, utwórz nową GenerativeModel instancję z tą konfiguracją.

Konfigurowanie modelu hostowanego w chmurze

Użyj opcji inCloudParams , aby skonfigurować model Gemini hostowany w chmurze. Dowiedz się więcej o dostępnych parametrach.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Konfigurowanie modelu na urządzeniu

Pamiętaj, że wnioskowanie z użyciem modelu na urządzeniu korzysta z interfejsu Prompt API w Chrome.

Użyj opcji onDeviceParams , aby skonfigurować model na urządzeniu. Dowiedz się więcej o dostępnych parametrach.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});