Membangun pengalaman hybrid di aplikasi Apple dengan model yang dihosting di perangkat dan cloud

Anda dapat membangun aplikasi dan fitur Apple yang didukung AI dengan inferensi hybrid menggunakan Firebase AI Logic. Inferensi hybrid memungkinkan menjalankan inferensi menggunakan model di perangkat (khususnya framework Foundation Models Apple) jika tersedia dan beralih dengan lancar ke model Google yang dihosting di cloud jika tidak tersedia (dan sebaliknya).

Halaman ini menjelaskan cara mulai menggunakan SDK klien. Setelah menyelesaikan penyiapan standar ini, lihat opsi dan kemampuan konfigurasi tambahan.

Perhatikan bahwa inferensi di perangkat melalui Firebase AI Logic didukung untuk aplikasi Apple yang menggunakan Firebase AI Logic SDK v12.13.0+ dan berjalan di perangkat dengan Apple Intelligence diaktifkan. Hal ini diatur oleh Persyaratan penggunaan yang dapat diterima untuk framework Foundation Models Apple.

Langsung ke contoh kode tampilan

Kasus penggunaan dan kemampuan yang didukung

Bergantung pada kasus penggunaan aplikasi, Anda dapat memanfaatkan beberapa manfaat pengalaman di perangkat atau hybrid:

  • Manfaat menggunakan model di perangkat untuk inferensi:

    • Privasi yang ditingkatkan
    • Konteks lokal
    • Inferensi tanpa biaya
    • Fungsi offline
  • Manfaat menggunakan pendekatan hybrid:

    • Memberikan pengalaman aplikasi yang serupa, apa pun perangkat pengguna akhir
    • Meningkatkan ketersediaan fitur AI generatif, terlepas dari konektivitas internet, batasan kuota, atau kemampuan perangkat

Kemampuan inferensi di perangkat yang didukung

Inferensi di perangkat hanya mendukung pembuatan teks, khususnya kemampuan berikut:

Pastikan untuk meninjau daftar fitur yang belum didukung untuk inferensi hybrid atau di perangkat di bagian bawah halaman ini.

API dan perangkat yang didukung

Bagian berikut menjelaskan API yang didukung, serta perangkat yang didukung (dan model di perangkatnya).

API yang didukung untuk inferensi di cloud vs di perangkat

Perangkat Apple yang didukung dan model di perangkatnya

Untuk inferensi di perangkat (yang menggunakan framework Foundation Models Apple), Anda dapat menemukan daftar perangkat yang mengaktifkan Apple Intelligence di dokumentasi Apple.

Mulai

Langkah-langkah memulai ini menjelaskan penyiapan umum yang diperlukan untuk setiap permintaan perintah yang didukung yang ingin Anda kirim.

Langkah 1: Siapkan project Firebase dan hubungkan aplikasi Anda ke Firebase

  1. Login ke Firebase console, lalu pilih project Firebase Anda.

  2. Di konsol Firebase, buka AI Services > AI Logic.

  3. Klik Mulai untuk meluncurkan alur kerja terpandu yang membantu Anda menyiapkan API yang diperlukan dan resource untuk project Anda.

  4. Jika diminta, ikuti petunjuk di layar untuk mendaftarkan aplikasi dan menambahkan konfigurasi Firebase ke aplikasi Anda.

  5. Saat diminta untuk memilih "Penyedia Gemini API", sebaiknya pilih Gemini Developer API, yang memungkinkan Anda memulai dengan cepat tanpa biaya.

    Kapan pun, Anda dapat menyiapkan Agent Platform Gemini API (formerly Vertex AI) (dan persyaratannya untuk penagihan).

  6. Lanjutkan dalam alur kerja untuk menyiapkan API yang diperlukan dan layanan terkait untuk Firebase AI Logic.

    Tahap alur kerja ini otomatis menerapkan Firebase App Check untuk AI Logic, yang merupakan layanan penting untuk membantu melindungi Gemini API saat diakses langsung dari aplikasi Anda. Sebagai bagian dari langkah awal (lihat langkah-langkah selanjutnya dalam panduan ini), Anda harus mengonfigurasi penyedia debug App Check untuk pengembangan lokal saat App Check diterapkan.

  7. Lanjutkan ke langkah berikutnya dalam panduan ini untuk menambahkan SDK yang diperlukan ke aplikasi Anda.

Langkah 2: Tambahkan SDK yang diperlukan

Gunakan Swift Package Manager (SPM) untuk menginstal dan mengelola dependensi Xcode. Dukungan hybrid hanya tersedia saat menggunakan SPM.

Library Firebase AI Logic menyediakan akses ke API untuk berinteraksi dengan model generatif. Library ini disertakan sebagai bagian dari Firebase SDK untuk platform Apple (firebase-ios-sdk).

Jika Anda sudah menggunakan Firebase, pastikan paket Firebase Anda adalah v12.13.0 atau yang lebih baru.

  1. Di Xcode, dengan project aplikasi Anda dalam keadaan terbuka, buka File > Add Package Dependencies.

  2. Saat diminta, tambahkan repositori SDK platform Apple Firebase:

    https://github.com/firebase/firebase-ios-sdk
    
  3. Pilih versi SDK terbaru.

  4. Pilih library FirebaseAILogic dan FirebaseAppCheck.

Setelah selesai, Xcode akan otomatis mulai me-resolve dan mendownload dependensi Anda di latar belakang.

Langkah 3: Konfigurasi penyedia debug App Check untuk pengembangan lokal

Sebagai bagian dari alur kerja penyiapan terpandu untuk AI Logic di konsol, Firebase App Check otomatis diterapkan untuk melindungi Gemini API. Untuk pengembangan lokal, Anda perlu mengonfigurasi penyedia debug App Check untuk mengabaikan pengesahan sambil tetap mempertahankan penerapan App Check.

Berikut cara menggunakan penyedia debug saat menjalankan aplikasi Anda di simulator secara interaktif (misalnya, selama pengembangan lokal):

  1. Di project Xcode, impor FirebaseAppCheck dan lakukan inisialisasi App Check dengan factory penyedia debug sebelum Anda mengonfigurasi Firebase.

    import SwiftUI
    import FirebaseCore
    import FirebaseAppCheck
    
    @main
    struct YourApp: App {
      init() {
        let providerFactory = AppCheckDebugProviderFactory()
        AppCheck.setAppCheckProviderFactory(providerFactory)
        FirebaseApp.configure()
      }
    
      var body: some Scene {
        WindowGroup {
          NavigationView {
            ContentView()
          }
        }
      }
    }
    
  2. Dapatkan token debug Anda:

    1. Luncurkan aplikasi di simulator atau di perangkat pengujian.

    2. Buka konsol Xcode dan cari token debug App Check. Contoh:

      <Warning> [AppCheckCore][I-GAC004001] App Check debug token: '123a4567-b89c-12d3-e456-789012345678'.
      
    3. Salin token (misalnya, 123a4567-b89c-12d3-e456-789012345678).

  3. Daftarkan token debug Anda ke App Check:

    1. Di Firebase console, buka tab Security > App Check > Apps.

    2. Temukan aplikasi Anda, klik menu tambahan (), lalu pilih Manage debug tokens.

    3. Ikuti petunjuk di layar untuk mendaftarkan token debug Anda.

Untuk mengetahui detail tentang penyedia debug (termasuk cara mendapatkan token debug baru), lihat dokumentasi resmi App Check.

Langkah 4: Lakukan inisialisasi layanan dan buat instance sesi model

Klik penyedia Gemini API untuk melihat konten dan kode khusus penyedia di halaman ini.

Siapkan hal berikut sebelum Anda mengirim permintaan perintah ke model.

  1. Lakukan inisialisasi layanan untuk penyedia Gemini API yang Anda pilih.

  2. Buat instance GenerativeModelSession dengan HybridModel.

  3. Tetapkan model primary dan secondary berdasarkan preferensi Anda. Anda dapat menetapkan urutan inferensi yang dicoba:

    • Coba inferensi di perangkat terlebih dahulu, tetapi izinkan penggantian ke cloud: tetapkan primary ke model "sistem" dan secondary ke model cloud.

    • Coba inferensi di cloud terlebih dahulu, tetapi izinkan penggantian ke di perangkat: tetapkan primary ke model cloud dan secondary ke model "sistem".

    Perhatikan bahwa SDK hanya mendukung penetapan satu model, yang berarti SDK hanya akan mencoba inferensi di perangkat atau di cloud. Namun, untuk pengalaman hybrid, Anda perlu membuat HybridModel dan menetapkan model primary dan secondary.

    Pelajari lebih lanjut perilaku "mode inferensi" (urutan inferensi yang dicoba) di Opsi konfigurasi.

Contoh berikut menunjukkan cara mencoba inferensi di perangkat terlebih dahulu, tetapi mengizinkan pengalihan ke model yang dihosting di cloud:

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case.
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case.
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model.
// Provide your preferred model as `primary` and your fallback model as `secondary`.
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Langkah 5: Mengirim permintaan perintah ke model

Bagian ini menunjukkan cara melakukan hal berikut:

Membuat teks dari input khusus teks

Sebelum mencoba contoh ini, pastikan Anda telah menyelesaikan bagian Memulai dalam panduan ini.

Untuk membuat teks dari perintah yang berisi teks, gunakan respond(to:) seperti ini:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Men-streaming teks yang dihasilkan dari input khusus teks

Sebelum mencoba contoh ini, pastikan Anda telah menyelesaikan bagian Memulai dalam panduan ini.

Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil parsial. Untuk melakukan streaming teks yang dihasilkan dari perintah yang berisi teks, gunakan streamResponse(to:) seperti ini:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Kamu bisa apa lagi?

Anda dapat menggunakan berbagai opsi dan kemampuan konfigurasi tambahan untuk pengalaman hybrid:

Fitur yang belum didukung

Sebagai rilis eksperimental, tidak semua kemampuan model yang dihosting di cloud atau Firebase AI Logic SDK tersedia untuk inferensi hybrid atau di perangkat.

Fitur yang belum didukung untuk penerapan hybrid

Fitur berikut tidak dapat digunakan dengan penerapan hybrid (baik di perangkat maupun melalui penggantian cloud):

  • Gemini Live API: Streaming real-time dua arah tidak didukung.

  • Template perintah server: Template perintah server terkelola tidak didukung.

  • Menghitung token: Penghitungan token tidak boleh diandalkan karena jumlahnya akan berbeda antara model yang dihosting di cloud dan model di perangkat, sehingga tidak ada penggantian yang intuitif.

Fitur yang belum didukung untuk inferensi di perangkat

Fitur berikut belum didukung untuk inferensi di perangkat, tetapi tersedia untuk model yang dihosting di cloud.

  • Membuat media, seperti gambar, audio, atau video

  • Membuat teks dari input multimodal berupa gambar, audio, video, dan dokumen (PDF)

  • Mengirim permintaan yang melebihi 4.096 token (atau sekitar 3.000 kata dalam bahasa Inggris)

  • Menyediakan alat bawaan untuk model di perangkat guna membantunya menghasilkan respons (seperti eksekusi kode, konteks URL, Grounding dengan Google Search, dan Grounding dengan Google Maps). Namun, Anda dapat menyediakan alat Anda sendiri menggunakan panggilan fungsi.

  • Pemantauan AI di Firebase konsol tidak menampilkan data apa pun untuk inferensi di perangkat (termasuk log perangkat). Namun, inferensi apa pun yang menggunakan model yang dihosting di cloud dapat dipantau seperti inferensi lainnya melalui Firebase AI Logic.

Batasan tambahan

Selain hal di atas, inferensi di perangkat memiliki batasan berikut:


Berikan masukan tentang pengalaman Anda menggunakan Firebase AI Logic