Opsi konfigurasi untuk pengalaman hybrid di aplikasi Web


Halaman ini menjelaskan opsi konfigurasi berikut:

Anda juga dapat membuat output terstruktur, termasuk JSON dan enum.

Sebelum memulai

Pastikan Anda telah menyelesaikan panduan memulai untuk membangun pengalaman hybrid.

Menetapkan mode inferensi

Contoh dalam panduan memulai menggunakan mode PREFER_ON_DEVICE, tetapi ini hanyalah salah satu dari empat mode inferensi yang tersedia.

  • PREFER_ON_DEVICE: Gunakan model di perangkat jika tersedia; jika tidak, kembali ke model yang dihosting di cloud.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: Gunakan model di perangkat jika tersedia; jika tidak, tampilkan pengecualian.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: Gunakan model yang dihosting di cloud jika tersedia; jika tidak, kembali ke model di perangkat.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: Gunakan model yang dihosting di cloud jika tersedia; jika tidak, tampilkan pengecualian.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

Menentukan apakah inferensi di perangkat atau di cloud digunakan

Jika Anda menggunakan mode inferensi PREFER_ON_DEVICE atau PREFER_IN_CLOUD, mungkin akan berguna untuk mengetahui mode mana yang digunakan untuk permintaan tertentu. Informasi ini diberikan oleh properti inferenceSource dari setiap respons (tersedia mulai JS SDK v12.5.0).

Saat Anda mengakses properti ini, nilai yang ditampilkan akan berupa ON_DEVICE atau IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Mengganti model penggantian default

Model yang dihosting di cloud secara default adalah gemini-2.5-flash-lite (mulai dengan JS SDK v12.8.0).

Model ini adalah model yang di-host di cloud sebagai pengganti saat Anda menggunakan mode PREFER_ON_DEVICE. Model ini juga merupakan model default saat Anda menggunakan mode ONLY_IN_CLOUD atau mode PREFER_IN_CLOUD.

Anda dapat menggunakan opsi konfigurasi inCloudParams untuk menentukan model default alternatif yang dihosting di cloud.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Temukan nama model untuk semua model Gemini yang didukung.

Menggunakan konfigurasi model untuk mengontrol respons

Dalam setiap permintaan ke model, Anda dapat mengirimkan konfigurasi model untuk mengontrol cara model menghasilkan respons. Model yang dihosting di cloud dan model di perangkat menawarkan opsi konfigurasi yang berbeda.

Konfigurasi dipertahankan selama masa aktif instance. Jika Anda ingin menggunakan konfigurasi yang berbeda, buat instance GenerativeModel baru dengan konfigurasi tersebut.

Mengonfigurasi model yang dihosting di cloud

Gunakan opsi inCloudParams untuk mengonfigurasi model Gemini yang dihosting di cloud. Pelajari parameter yang tersedia.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Mengonfigurasi model di perangkat

Perhatikan bahwa inferensi menggunakan model di perangkat menggunakan Prompt API dari Chrome.

Gunakan opsi onDeviceParams untuk mengonfigurasi model di perangkat. Pelajari parameter yang tersedia.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});