Opsi konfigurasi untuk pengalaman hybrid di aplikasi Android


Halaman ini menjelaskan opsi konfigurasi berikut untuk pengalaman hybrid:

Pastikan Anda telah menyelesaikan panduan memulai untuk membangun pengalaman hybrid.

Menetapkan mode inferensi

Contoh dalam panduan memulai menggunakan mode PREFER_ON_DEVICE, tetapi ini hanyalah salah satu dari empat mode inferensi yang tersedia.

Berikut adalah mode inferensi yang tersedia:

  • PREFER_ON_DEVICE: Mencoba menggunakan model di perangkat jika tersedia dan mendukung jenis permintaan. Jika tidak, catat error di perangkat dan kemudian otomatis melakukan penggantian ke model yang dihosting di cloud.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.PREFER_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_ON_DEVICE: Mencoba menggunakan model di perangkat jika tersedia dan mendukung jenis permintaan. Jika tidak, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.ONLY_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • PREFER_IN_CLOUD: Berupaya menggunakan model yang dihosting di cloud jika perangkat sedang online dan jika model tersedia. Jika perangkat sedang offline, kembali ke model di perangkat. Dalam semua kasus kegagalan lainnya, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.PREFER_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_IN_CLOUD: Berupaya menggunakan model yang dihosting di cloud jika perangkat sedang online dan jika model tersedia. Jika tidak, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.ONLY_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

Menentukan apakah inferensi di perangkat atau di cloud digunakan

Jika mode inferensi Anda adalah PREFER_ON_DEVICE atau PREFER_IN_CLOUD, mungkin akan berguna untuk mengetahui mode mana yang digunakan untuk permintaan tertentu. Informasi ini diberikan oleh properti inferenceSource setiap respons.

Saat Anda mengakses properti ini, nilai yang ditampilkan akan berupa ON_DEVICE atau IN_CLOUD.

Kotlin 

// ...

print("You used: ${result.response.inferenceSource}")

print(result.response.text)

Java 

// ...

System.out.println("You used: " + result.getResponse().getInferenceSource());

System.out.println(result.getResponse().getText());

Menentukan model yang akan digunakan

Klik penyedia Gemini API untuk melihat konten dan kode khusus penyedia di halaman ini.

Anda dapat menentukan model yang akan digunakan saat membuat instance generativeModel (Kotlin | Java).

  • Tentukan model yang dihosting di cloud:

    • Jika mode inferensi Anda adalah PREFER_ON_DEVICE, PREFER_IN_CLOUD, atau ONLY_IN_CLOUD, Anda harus menentukan model yang dihosting di cloud secara eksplisit untuk digunakan. SDK tidak memiliki model default yang dihosting di cloud.

    • Temukan nama model untuk semua model Gemini yang di-host di cloud dan didukung.

  • Menentukan model di perangkat:

    • Jika mode inferensi Anda adalah PREFER_ON_DEVICE, PREFER_IN_CLOUD, atau ONLY_ON_DEVICE, Anda dapat secara opsional menentukan "kategori" model di perangkat yang akan digunakan dalam onDeviceConfig. Kategori adalah kombinasi tahap rilis dan karakteristik performa.

    • Nilai kategori yang didukung tercantum di bawah.
      AICore otomatis memilih model di perangkat yang memenuhi kondisi kategori yang ditentukan dan didukung oleh perangkat. Misalnya, jika Anda menentukan PREVIEW dan perangkatnya adalah Pixel 9, maka Gemini Nano 4 Full [Pratinjau] (nano-v4-full) kemungkinan akan dipilih secara otomatis.

      • STABLE: Model dalam perangkat stabil terbaru.

        • Diuji sepenuhnya dan tersedia di perangkat konsumen.

        • Misalnya, Gemini Nano 3 (nano-v3) atau Gemini Nano 2 (nano-v2).

        • Setelan default untuk model di perangkat jika tidak ada OnDeviceModelOption yang ditentukan.

      • PREVIEW: Model dalam perangkat pratinjau terbaru dengan kemampuan performa penuh.

        • Dirancang untuk kemampuan penalaran yang lebih tinggi dan tugas yang kompleks.

        • Misalnya, Gemini Nano 4 Full [Pratinjau] (nano-v4-full, yang didasarkan pada Gemma 4 E4B).

      • PREVIEW_FAST: Model di perangkat pratinjau terbaru yang cepat.

        • Dioptimalkan untuk kecepatan maksimum dan latensi yang lebih rendah.

        • Misalnya, Gemini Nano 4 Fast [Pratinjau] (nano-v4-fast, yang didasarkan pada Gemma 4 E2B).

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        modelName = "CLOUD_HOSTED_MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(
            mode = InferenceMode.INFERENCE_MODE,
            // (Optional) Specify an on-device model category.
            // AICore will auto-select an on-device model based on this category.
            // If not specified, AICore will auto-select the default stable on-device model.
            modelOption = OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    )

Java 

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        "CLOUD_HOSTED_MODEL_NAME",
        /* config = */ null,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        new OnDeviceConfig(
                /* mode = */ InferenceMode.INFERENCE_MODE,
                /* maxOutputTokens = */ null,
                /* temperature = */ null,
                /* topK = */ null,
                /* seed = */ null,
                /* candidateCount = */ 1,
                // (Optional) Specify an on-device model category.
                // AICore will auto-select an on-device model based on this category.
                // If not specified, AICore will auto-select the default stable on-device model.
                /* modelOption = */ OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);

Menggunakan konfigurasi model untuk mengontrol respons

Klik penyedia Gemini API untuk melihat konten dan kode khusus penyedia di halaman ini.

Dalam setiap permintaan ke model, Anda dapat mengirimkan konfigurasi model untuk mengontrol cara model menghasilkan respons. Model yang dihosting di cloud dan model di perangkat menawarkan opsi konfigurasi yang berbeda (parameter cloud vs di perangkat).

Untuk model yang di-host oleh cloud, tetapkan konfigurasinya langsung di konfigurasi model. Namun, untuk model di perangkat, tetapkan konfigurasinya dalam onDeviceConfig.

Konfigurasi dipertahankan selama masa aktif instance. Jika Anda ingin menggunakan konfigurasi yang berbeda, buat instance GenerativeModel baru dengan konfigurasi tersebut.

Berikut contoh yang menetapkan konfigurasi untuk model yang dihosting di cloud dan di perangkat yang dapat digunakan jika mode inferensi PREFER_ON_DEVICE ditetapkan:

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel("MODEL_NAME",
        // Config for cloud-hosted model
        generationConfig = generationConfig {
          temperature = 0.8f,
          topK = 10
        },
        // Config for on-device model
        onDeviceConfig = onDeviceConfig {
          mode = InferenceMode.PREFER_ON_DEVICE,
          temperature = 0.8f,
          topK = 5
        })

Java 

// Config for cloud-hosted model
GenerationConfig generationConfig = new GenerationConfig.Builder()
    .setTemperature(0.8f)
    .setTopK(10)
    .build();

// Config for on-device model
OnDeviceConfig onDeviceConfig = new OnDeviceConfig.Builder()
    .setMode(InferenceMode.PREFER_ON_DEVICE)
    .setTemperature(0.8f)
    .setTopK(5)
    .build();

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "MODEL_NAME",
        generationConfig,
        onDeviceConfig
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);