Opsi konfigurasi untuk pengalaman hybrid di aplikasi Android

Firebase AI Logic


Halaman ini menjelaskan opsi konfigurasi berikut untuk pengalaman hybrid:

Pastikan Anda telah menyelesaikan panduan memulai untuk membuat pengalaman hybrid.

Menetapkan mode inferensi

Contoh dalam panduan memulai menggunakan mode PREFER_ON_DEVICE, tetapi ini hanya salah satu dari empat mode inferensi yang tersedia .

Berikut mode inferensi yang tersedia:

  • PREFER_ON_DEVICE: Mencoba menggunakan model di perangkat jika tersedia dan mendukung jenis permintaan. Jika tidak, catat error di perangkat, lalu kembali ke model yang dihosting di cloud secara otomatis.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.PREFER_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_ON_DEVICE: Mencoba menggunakan model di perangkat jika tersedia dan mendukung jenis permintaan. Jika tidak, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_ON_DEVICE)

    Java 

    InferenceMode mode = InferenceMode.ONLY_ON_DEVICE;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • PREFER_IN_CLOUD: Mencoba menggunakan model yang dihosting di cloud jika perangkat online dan jika model tersedia. Jika perangkat offline, kembali ke model di perangkat. Dalam semua kasus kegagalan lainnya, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.PREFER_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.PREFER_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

  • ONLY_IN_CLOUD: Mencoba menggunakan model yang dihosting di cloud jika perangkat online dan jika model tersedia. Jika tidak, berikan pengecualian.

    Kotlin 

    val config = OnDeviceConfig(mode = InferenceMode.ONLY_IN_CLOUD)

    Java 

    InferenceMode mode = InferenceMode.ONLY_IN_CLOUD;
OnDeviceConfig config = new OnDeviceConfig(mode);

Menentukan apakah inferensi di perangkat atau di cloud digunakan

Jika mode inferensi Anda adalah PREFER_ON_DEVICE atau PREFER_IN_CLOUD, mungkin akan berguna untuk mengetahui mode mana yang digunakan untuk permintaan tertentu. Informasi ini diberikan oleh properti inferenceSource dari setiap respons.

Saat Anda mengakses properti ini, nilai yang ditampilkan akan berupa ON_DEVICE atau IN_CLOUD.

Kotlin 

// ...

print("You used: ${result.response.inferenceSource}")

print(result.response.text)

Java 

// ...

System.out.println("You used: " + result.getResponse().getInferenceSource());

System.out.println(result.getResponse().getText());

Menentukan model yang akan digunakan

Klik penyedia Gemini API untuk melihat konten khusus penyedia dan kode di halaman ini.

Anda dapat menentukan model yang akan digunakan saat membuat instance generativeModel (Kotlin | Java).

  • Menentukan model yang dihosting di cloud:

    • Jika mode inferensi Anda adalah PREFER_ON_DEVICE, PREFER_IN_CLOUD, atau ONLY_IN_CLOUD, Anda harus menentukan model yang dihosting di cloud secara eksplisit untuk digunakan. SDK tidak memiliki model yang dihosting di cloud secara default.

    • Temukan nama model untuk semua model yang dihosting di cloud dan didukungGemini.

  • Menentukan model di perangkat:

    • Jika mode inferensi Anda adalah PREFER_ON_DEVICE, PREFER_IN_CLOUD, atau ONLY_ON_DEVICE, Anda dapat menentukan "kategori" model di perangkat yang akan digunakan di onDeviceConfig. Kategori adalah kombinasi dari tahap rilis dan karakteristik performa.

    • Nilai kategori yang didukung tercantum di bawah.
      AICore otomatis memilih model di perangkat yang memenuhi kondisi kategori yang ditentukan dan didukung oleh perangkat. Misalnya, jika Anda menentukan PREVIEW dan perangkatnya adalah Pixel 9, Gemini Nano 4 Full [Pratinjau] (nano-v4-full) kemungkinan akan dipilih secara otomatis.

      • STABLE: Model di perangkat stabil terbaru.

        • Diuji sepenuhnya dan di perangkat konsumen.

        • Misalnya, Gemini Nano 3 (nano-v3) atau Gemini Nano 2 (nano-v2).

        • Setelan default untuk model di perangkat jika tidak ada OnDeviceModelOption yang ditentukan.

      • PREVIEW: Model di perangkat pratinjau terbaru dengan kemampuan performa penuh.

        • Dirancang untuk kemampuan penalaran yang lebih tinggi dan tugas yang kompleks.

        • Misalnya, Gemini Nano 4 Full [Pratinjau] (nano-v4-full, yang didasarkan pada Gemma 4 E4B).

      • PREVIEW_FAST: Model di perangkat pratinjau terbaru yang cepat.

        • Dioptimalkan untuk kecepatan maksimum dan latensi yang lebih rendah.

        • Misalnya, Gemini Nano 4 Fast [Pratinjau] (nano-v4-fast, yang didasarkan pada Gemma 4 E2B).

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        modelName = "CLOUD_HOSTED_MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(
            mode = InferenceMode.INFERENCE_MODE,
            // (Optional) Specify an on-device model category.
            // AICore will auto-select an on-device model based on this category.
            // If not specified, AICore will auto-select the default stable on-device model.
            modelOption = OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    )

Java 

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        // Specify a cloud-hosted model.
        // Required for `PREFER_ON_DEVICE`, `PREFER_IN_CLOUD`, and `ONLY_IN_CLOUD` inference modes.
        "CLOUD_HOSTED_MODEL_NAME",
        /* config = */ null,
        /* safetySettings = */ null,
        /* tools = */ null,
        /* toolConfig = */ null,
        /* systemInstruction = */ null,
        /* requestOptions = */ new RequestOptions(),
        new OnDeviceConfig(
                /* mode = */ InferenceMode.INFERENCE_MODE,
                /* maxOutputTokens = */ null,
                /* temperature = */ null,
                /* topK = */ null,
                /* seed = */ null,
                /* candidateCount = */ 1,
                // (Optional) Specify an on-device model category.
                // AICore will auto-select an on-device model based on this category.
                // If not specified, AICore will auto-select the default stable on-device model.
                /* modelOption = */ OnDeviceModelOption.ON-DEVICE_MODEL_CATEGORY)
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);

Menggunakan konfigurasi model untuk mengontrol respons

Klik penyedia Gemini API untuk melihat konten khusus penyedia dan kode di halaman ini.

Dalam setiap permintaan ke model, Anda dapat mengirim konfigurasi model untuk mengontrol cara model menghasilkan respons. Model yang dihosting di cloud dan model di perangkat menawarkan opsi konfigurasi yang berbeda (cloud vs parameter di perangkat).

Untuk model yang dihosting di cloud, tetapkan konfigurasinya langsung di konfigurasi model. Namun, untuk model di perangkat, tetapkan konfigurasinya dalam an onDeviceConfig.

Konfigurasi dipertahankan selama masa aktif instance. Jika ingin menggunakan konfigurasi yang berbeda, buat instance GenerativeModel baru dengan konfigurasi tersebut.

Berikut contoh yang menetapkan konfigurasi untuk model yang dihosting di cloud dan di perangkat yang dapat digunakan jika mode inferensi PREFER_ON_DEVICE ditetapkan:

Kotlin 

val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel("MODEL_NAME",
        // Config for cloud-hosted model
        generationConfig = generationConfig {
          temperature = 0.8f,
          topK = 10
        },
        // Config for on-device model
        onDeviceConfig = onDeviceConfig {
          mode = InferenceMode.PREFER_ON_DEVICE,
          temperature = 0.8f,
          topK = 5
        })

Java 

// Config for cloud-hosted model
GenerationConfig generationConfig = new GenerationConfig.Builder()
    .setTemperature(0.8f)
    .setTopK(10)
    .build();

// Config for on-device model
OnDeviceConfig onDeviceConfig = new OnDeviceConfig.Builder()
    .setMode(InferenceMode.PREFER_ON_DEVICE)
    .setTemperature(0.8f)
    .setTopK(5)
    .build();

GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "MODEL_NAME",
        generationConfig,
        onDeviceConfig
    );

GenerativeModelFutures model = GenerativeModelFutures.from(ai);