Xây dựng trải nghiệm kết hợp trong các ứng dụng của Apple bằng các mô hình được lưu trữ trên thiết bị và trên đám mây

Bạn có thể xây dựng các ứng dụng và tính năng dựa trên AI của Apple bằng tính năng suy luận kết hợp thông qua Firebase AI Logic. Tính năng suy luận kết hợp cho phép chạy suy luận bằng cách sử dụng mô hình trên thiết bị (cụ thể là khung Mô hình nền tảng của Apple) khi có sẵn và quay lại các mô hình Google được lưu trữ trên đám mây một cách liền mạch (và ngược lại).

Trang này mô tả cách bắt đầu sử dụng SDK ứng dụng. Sau khi hoàn tất quy trình thiết lập tiêu chuẩn này, hãy xem các chức năng và tuỳ chọn cấu hình bổ sung.

Xin lưu ý rằng tính năng suy luận trên thiết bị thông qua Firebase AI Logic được hỗ trợ cho các ứng dụng của Apple sử dụng SDK Firebase AI Logic phiên bản 12.13.0 trở lên và chạy trên các thiết bị đã bật Apple Intelligence. Tính năng này chịu sự điều chỉnh của Chính sách sử dụng đối với khung Mô hình nền tảng của Apple.

Chuyển đến phần xem ví dụ về mã

Trường hợp sử dụng và các chức năng được hỗ trợ

Tuỳ thuộc vào trường hợp sử dụng của ứng dụng, bạn có thể tận dụng một số lợi ích của trải nghiệm trên thiết bị hoặc trải nghiệm kết hợp:

  • Lợi ích của việc sử dụng mô hình trên thiết bị để suy luận:

    • Tăng cường quyền riêng tư
    • Bối cảnh địa phương
    • Suy luận không tốn phí
    • Chức năng ngoại tuyến
  • Lợi ích của việc sử dụng phương pháp kết hợp:

    • Cung cấp trải nghiệm ứng dụng tương tự, bất kể thiết bị của người dùng cuối
    • Cải thiện khả năng sử dụng các tính năng AI tạo sinh, bất kể kết nối Internet, giới hạn hạn mức hoặc khả năng của thiết bị

Các chức năng suy luận được hỗ trợ trên thiết bị

Tính năng suy luận trên thiết bị chỉ hỗ trợ tạo văn bản, cụ thể là các chức năng sau:

Hãy nhớ xem danh sách các tính năng chưa được hỗ trợ cho suy luận kết hợp hoặc trên thiết bị ở cuối trang này.

Các API và thiết bị được hỗ trợ

Các phần sau đây mô tả các API được hỗ trợ, cũng như các thiết bị được hỗ trợ (và các mô hình trên thiết bị).

Các API được hỗ trợ cho suy luận trên đám mây so với suy luận trên thiết bị

Các thiết bị Apple được hỗ trợ và mô hình trên thiết bị của các thiết bị đó

Đối với suy luận trên thiết bị (sử dụng khung Mô hình nền tảng của Apple), bạn có thể tìm thấy danh sách thiết bị đã bật Apple Intelligence trong tài liệu của Apple.

Bắt đầu

Các bước bắt đầu này mô tả cách thiết lập chung bắt buộc cho mọi yêu cầu câu lệnh được hỗ trợ mà bạn muốn gửi.

Bước 1: Thiết lập dự án Firebase và kết nối ứng dụng của bạn với Firebase

  1. Đăng nhập vào bảng điều khiển của Firebase, rồi chọn dự án Firebase của bạn.

  2. Trong bảng điều khiển Firebase, hãy chuyển đến phần Dịch vụ AI > Logic AI.

  3. Nhấp vào Get started (Bắt đầu) để khởi chạy quy trình công việc có hướng dẫn giúp bạn thiết lập các API và tài nguyên cần thiết cho dự án.

  4. Nếu được nhắc, hãy làm theo hướng dẫn trên màn hình để đăng ký ứng dụng và thêm cấu hình Firebase vào ứng dụng.

  5. Khi được yêu cầu chọn "Nhà cung cấp Gemini API", bạn nên chọn Gemini Developer API để bắt đầu nhanh chóng mà không mất phí.

    Sau này, bạn có thể thiết lập Agent Platform Gemini API (formerly Vertex AI) (và yêu cầu về thông tin thanh toán) bất cứ lúc nào.

  6. Tiếp tục quy trình để thiết lập các API bắt buộc và dịch vụ liên quan cho Firebase AI Logic.

    Giai đoạn này của quy trình làm việc sẽ tự động thực thi Firebase App Check cho AI Logic, đây là một dịch vụ quan trọng giúp bảo vệ Gemini API khi được truy cập trực tiếp từ ứng dụng của bạn. Trong quá trình bắt đầu (xem các bước sau trong hướng dẫn này), bạn cần định cấu hình nhà cung cấp dịch vụ gỡ lỗi App Check để phát triển cục bộ khi App Check được thực thi.

  7. Tiếp tục chuyển sang bước tiếp theo trong hướng dẫn này để thêm các SDK bắt buộc vào ứng dụng của bạn.

Bước 2: Thêm các SDK bắt buộc

Sử dụng Trình quản lý gói Swift (SPM) để cài đặt và quản lý các phần phụ thuộc Xcode. Tính năng hỗ trợ kết hợp chỉ hoạt động khi sử dụng SPM.

Thư viện Firebase AI Logic cung cấp quyền truy cập vào các API để tương tác với các mô hình tạo sinh. Thư viện này được đưa vào dưới dạng một phần của Firebase SDK cho các nền tảng của Apple (firebase-ios-sdk).

Nếu bạn đang sử dụng Firebase, hãy đảm bảo gói Firebase của bạn là phiên bản 12.13.0 trở lên.

  1. Trong Xcode, khi dự án ứng dụng của bạn đang mở, hãy chuyển đến File > Add Package Dependencies (Tệp > Thêm phần phụ thuộc của gói).

  2. Khi được nhắc, hãy thêm kho lưu trữ SDK Firebase cho nền tảng của Apple:

    https://github.com/firebase/firebase-ios-sdk
    
  3. Chọn phiên bản SDK mới nhất.

  4. Chọn thư viện FirebaseAILogic và FirebaseAppCheck.

Khi hoàn tất, Xcode sẽ tự động bắt đầu phân giải và tải các phần phụ thuộc xuống ở chế độ nền.

Bước 3: Định cấu hình nhà cung cấp dịch vụ gỡ lỗi App Check cho quá trình phát triển cục bộ

Trong quy trình thiết lập có hướng dẫn cho AI Logic trong bảng điều khiển, Firebase App Check sẽ tự động được thực thi để bảo vệ Gemini API. Để phát triển cục bộ, bạn cần định cấu hình App Check nhà cung cấp dịch vụ gỡ lỗi để bỏ qua quy trình chứng thực trong khi vẫn duy trì việc thực thi App Check.

Sau đây là cách sử dụng nhà cung cấp dịch vụ gỡ lỗi trong khi chạy ứng dụng trong trình mô phỏng theo cách tương tác (ví dụ: trong quá trình phát triển cục bộ):

  1. Trong dự án Xcode, hãy nhập FirebaseAppCheck và khởi động App Check bằng nhà cung cấp dịch vụ gỡ lỗi factory trước khi bạn định cấu hình Firebase.

    import SwiftUI
    import FirebaseCore
    import FirebaseAppCheck
    
    @main
    struct YourApp: App {
      init() {
        let providerFactory = AppCheckDebugProviderFactory()
        AppCheck.setAppCheckProviderFactory(providerFactory)
        FirebaseApp.configure()
      }
    
      var body: some Scene {
        WindowGroup {
          NavigationView {
            ContentView()
          }
        }
      }
    }
    
  2. Lấy mã gỡ lỗi:

    1. Chạy ứng dụng trong trình mô phỏng hoặc trên thiết bị thử nghiệm.

    2. Mở bảng điều khiển Xcode và tìm mã gỡ lỗi App Check. Ví dụ:

      <Warning> [AppCheckCore][I-GAC004001] App Check debug token: '123a4567-b89c-12d3-e456-789012345678'.
      
    3. Sao chép mã thông báo (ví dụ: 123a4567-b89c-12d3-e456-789012345678).

  3. Đăng ký mã thông báo gỡ lỗi của bạn với App Check:

    1. Trong bảng điều khiển Firebase, hãy chuyển đến thẻ Security (Bảo mật) > App Check (Kiểm tra ứng dụng) > Apps (Ứng dụng).

    2. Tìm ứng dụng của bạn, nhấp vào trình đơn mục bổ sung (), rồi chọn Manage debug tokens (Quản lý mã thông báo gỡ lỗi).

    3. Làm theo hướng dẫn trên màn hình để đăng ký mã thông báo gỡ lỗi.

Để biết thông tin chi tiết về nhà cung cấp dịch vụ gỡ lỗi (bao gồm cả cách lấy mã thông báo gỡ lỗi mới), hãy xem tài liệu chính thức về App Check.

Bước 4: Khởi động dịch vụ và tạo một thực thể phiên mô hình

Nhấp vào nhà cung cấp Gemini API của bạn để xem nội dung và mã dành riêng cho nhà cung cấp trên trang này.

Hãy thiết lập những thông tin sau trước khi bạn gửi yêu cầu câu lệnh đến mô hình.

  1. Khởi chạy dịch vụ cho nhà cung cấp Gemini API mà bạn chọn.

  2. Tạo một thực thể GenerativeModelSession bằng HybridModel.

  3. Đặt mô hình primary và secondary dựa trên lựa chọn ưu tiên của bạn. Bạn có thể đặt thứ tự suy luận:

    • Thử suy luận trên thiết bị trước, nhưng cho phép dự phòng trên đám mây: đặt primary thành mô hình "hệ thống" và secondary thành mô hình đám mây.

    • Thử suy luận trên đám mây trước, nhưng cho phép dự phòng trên thiết bị: đặt primary thành mô hình đám mây và secondary thành mô hình "hệ thống".

    Xin lưu ý rằng SDK chỉ hỗ trợ đặt một model duy nhất, nghĩa là SDK sẽ chỉ cố gắng suy luận trên thiết bị hoặc trên đám mây. Tuy nhiên, đối với trải nghiệm kết hợp, bạn cần tạo HybridModel và đặt cả hai mô hình primary và secondary.

    Tìm hiểu thêm về hành vi của "chế độ suy luận" (thứ tự suy luận được thử) trong phần Tuỳ chọn cấu hình.

Ví dụ sau đây cho thấy cách thử suy luận trên thiết bị trước, nhưng cho phép quay lại mô hình được lưu trữ trên đám mây:

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case.
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case.
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model.
// Provide your preferred model as `primary` and your fallback model as `secondary`.
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Bước 5: Gửi yêu cầu câu lệnh đến một mô hình

Phần này hướng dẫn bạn cách làm những việc sau:

Tạo văn bản do AI tạo từ dữ liệu đầu vào chỉ có văn bản

Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này.

Để tạo văn bản do AI tạo từ một câu lệnh chứa văn bản, hãy sử dụng respond(to:) như sau:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Hiện câu trả lời theo thời gian thực văn bản do AI tạo từ dữ liệu đầu vào chỉ có văn bản

Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này.

Bạn có thể tương tác nhanh hơn bằng cách không chờ toàn bộ kết quả từ quá trình tạo mô hình, mà thay vào đó, hãy sử dụng tính năng truyền trực tuyến để xử lý một phần kết quả. Để truyền trực tuyến văn bản do AI tạo từ một câu lệnh chứa văn bản, hãy sử dụng streamResponse(to:) như sau:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Bạn có thể làm gì nữa?

Bạn có thể sử dụng nhiều tuỳ chọn và chức năng cấu hình bổ sung cho trải nghiệm kết hợp:

Các tính năng chưa được hỗ trợ

Vì đây là bản phát hành thử nghiệm, nên không phải tất cả chức năng của mô hình được lưu trữ trên đám mây hoặc Firebase AI Logic SDK đều có thể dùng cho suy luận kết hợp hoặc suy luận trên thiết bị.

Các tính năng chưa được hỗ trợ cho cách triển khai kết hợp

Bạn không thể sử dụng các tính năng sau đây với phương thức triển khai kết hợp (cả trên thiết bị và thông qua phương án dự phòng trên đám mây):

  • Gemini Live API: Không hỗ trợ tính năng truyền trực tuyến hai chiều theo thời gian thực.

  • Mẫu câu lệnh phía máy chủ: Không hỗ trợ mẫu câu lệnh phía máy chủ được quản lý.

  • Đếm mã thông báo: Bạn không nên dựa vào số lượng mã thông báo vì số lượng này sẽ khác nhau giữa mô hình được lưu trữ trên đám mây và mô hình trên thiết bị, vì vậy, không có phương án dự phòng trực quan.

Các tính năng chưa được hỗ trợ cho hoạt động suy luận trên thiết bị

Các tính năng sau chưa được hỗ trợ cho hoạt động suy luận trên thiết bị, nhưng chúng có sẵn cho các mô hình được lưu trữ trên đám mây.

  • Tạo nội dung nghe nhìn, chẳng hạn như hình ảnh, âm thanh hoặc video

  • Tạo văn bản do AI tạo từ dữ liệu đầu vào đa phương thức gồm hình ảnh, âm thanh, video và tài liệu (PDF)

  • Gửi yêu cầu vượt quá 4096 mã thông báo (hoặc khoảng 3000 từ tiếng Anh)

  • Cung cấp cho mô hình trên thiết bị các công cụ tích hợp sẵn để giúp mô hình tạo câu trả lời (chẳng hạn như thực thi mã, bối cảnh từ URL, tính năng Xác minh bằng Google Search và Xác minh bằng Google Maps). Tuy nhiên, bạn có thể cung cấp công cụ của riêng mình bằng cách gọi hàm.

  • Tính năng giám sát bằng AI trong bảng điều khiển Firebase không hiển thị bất kỳ dữ liệu nào cho suy luận trên thiết bị (bao gồm cả nhật ký thiết bị). Tuy nhiên, mọi hoạt động suy luận sử dụng mô hình được lưu trữ trên đám mây đều có thể được giám sát giống như các hoạt động suy luận khác thông qua Firebase AI Logic.

Các hạn chế khác

Ngoài những điều trên, suy luận trên thiết bị có các giới hạn sau:

  • Người dùng cuối của ứng dụng phải sử dụng một thiết bị đã bật Apple Intelligence.

  • Ứng dụng của bạn chỉ có thể chạy suy luận trên thiết bị khi ứng dụng đang chạy trên nền trước.


Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic