Xây dựng trải nghiệm kết hợp trong các ứng dụng của Apple bằng các mô hình được lưu trữ trên thiết bị và trên đám mây

Bạn có thể xây dựng các ứng dụng và tính năng của Apple dựa trên AI bằng tính năng suy luận kết hợp thông qua Firebase AI Logic. Tính năng suy luận kết hợp cho phép chạy tính năng suy luận bằng các mô hình trên thiết bị (cụ thể là khung Mô hình nền tảng của Apple) khi có sẵn và chuyển đổi liền mạch sang các mô hình của Google được lưu trữ trên đám mây (và ngược lại).

Trang này mô tả cách bắt đầu sử dụng SDK máy khách, cũng như trình bày các tuỳ chọn và chức năng cấu hình bổ sung, chẳng hạn như nhiệt độ.

Xin lưu ý rằng tính năng suy luận trên thiết bị thông qua Firebase AI Logic được hỗ trợ cho các ứng dụng của Apple sử dụng Firebase AI Logic SDK phiên bản 12.13.0 trở lên và chạy trên các thiết bị đã bật Apple Intelligence. Tính năng này chịu sự điều chỉnh của Yêu cầu về việc sử dụng được chấp nhận đối với khung Mô hình nền tảng của Apple.

Các trường hợp sử dụng được đề xuất

  • Việc sử dụng mô hình trên thiết bị để suy luận mang lại:

    • Quyền riêng tư nâng cao
    • Suy luận miễn phí
    • Chức năng ngoại tuyến

  • Việc sử dụng chức năng kết hợp mang lại:

    • Cung cấp cho tất cả khách hàng trải nghiệm ứng dụng tương tự bất kể thiết bị của người dùng cuối
    • Cải thiện khả năng cung cấp các tính năng AI tạo sinh, bất kể khả năng kết nối Internet, hạn mức hoặc chức năng của thiết bị

Các chức năng, API và thiết bị được hỗ trợ

Trước khi triển khai tính năng suy luận kết hợp và trên thiết bị bằng Logic AI của Firebase, hãy xem lại phần này để hiểu những nội dung được hỗ trợ cho các ứng dụng của Apple.

Các chức năng và tính năng được hỗ trợ cho tính năng suy luận trên thiết bị

Tính năng suy luận trên thiết bị chỉ hỗ trợ tạo văn bản, cụ thể là các chức năng tạo văn bản sau:

Hãy nhớ xem danh sách chi tiết về tính năng suy luận kết hợp hoặc trên thiết bị chưa được hỗ trợ ở cuối trang này.

Các API và thiết bị được hỗ trợ

Bắt đầu

Đảm bảo bạn đã xem lại phần mô tả các chức năng, API và thiết bị được hỗ trợ ở trên.

Các bước bắt đầu này mô tả quy trình thiết lập chung bắt buộc cho mọi yêu cầu về lời nhắc được hỗ trợ mà bạn muốn gửi.

Bước 1: Thiết lập dự án Firebase và kết nối ứng dụng của bạn với Firebase

  1. Đăng nhập vào bảng điều khiển Firebase, sau đó chọn dự án Firebase của bạn.

  2. Trong bảng điều khiển Firebase, hãy chuyển đến Dịch vụ AI > Logic AI.

  3. Nhấp vào Bắt đầu để khởi chạy quy trình có hướng dẫn giúp bạn thiết lập các API và tài nguyên cần thiết cho dự án của bạn.

  4. Thiết lập dự án để sử dụng nhà cung cấp "Gemini API".

    Bạn nên bắt đầu sử dụng Gemini Developer API. Bất cứ lúc nào, bạn luôn có thể thiết lập Vertex AI Gemini API (và yêu cầu thanh toán của API này).

    Đối với Gemini Developer API, bảng điều khiển sẽ bật các API cần thiết và tạo khoá Gemini API trong dự án của bạn.
    Không thêm khoá Gemini API này vào cơ sở mã của ứng dụng. Tìm hiểu thêm.

  5. Nếu được nhắc trong quy trình của bảng điều khiển, hãy làm theo hướng dẫn trên màn hình để đăng ký ứng dụng và kết nối ứng dụng đó với Firebase.

  6. Tiếp tục bước tiếp theo trong hướng dẫn này để thêm SDK vào ứng dụng của bạn.

Bước 2: Thêm các SDK cần thiết

Sử dụng Trình quản lý gói Swift (SPM) để cài đặt và quản lý các phần phụ thuộc của Xcode. Tính năng hỗ trợ kết hợp chỉ có khi bạn sử dụng SPM.

Thư viện Firebase AI Logic cung cấp quyền truy cập vào các API để tương tác với các mô hình tạo sinh. Thư viện này được đưa vào như một phần của SDK Firebase cho các nền tảng của Apple (firebase-ios-sdk).

Nếu bạn đã sử dụng Firebase, hãy đảm bảo rằng gói Firebase của bạn là phiên bản 12.13.0 trở lên.

  1. Trong Xcode, khi dự án ứng dụng của bạn đang mở, hãy chuyển đến File (Tệp) > Add Package Dependencies (Thêm phần phụ thuộc của gói).

  2. Khi được nhắc, hãy thêm kho lưu trữ SDK nền tảng Apple của Firebase:

    https://github.com/firebase/firebase-ios-sdk

  3. Chọn phiên bản SDK mới nhất.

  4. Chọn thư viện FirebaseAILogic.

Khi hoàn tất, Xcode sẽ tự động bắt đầu phân giải và tải các phần phụ thuộc xuống ở chế độ nền.

Bước 3: Khởi chạy dịch vụ và tạo thực thể phiên mô hình

Nhấp vào nhà cung định Gemini API để xem nội dung dành riêng cho nhà cung cấp và mã trên trang này.

Thiết lập những nội dung sau trước khi bạn gửi yêu cầu về lời nhắc đến mô hình.

  1. Khởi chạy dịch vụ cho nhà cung cấp Gemini API mà bạn chọn.

  2. Tạo thực thể GenerativeModelSession bằng HybridModel.

  3. Đặt mô hình primary và secondary dựa trên ý muốn của bạn. Bạn có thể đặt thứ tự suy luận được thử:

    • Thử suy luận trên thiết bị trước, nhưng cho phép chuyển đổi sang đám mây: đặt primary thành mô hình "hệ thống" và secondary thành mô hình đám mây.

    • Thử suy luận trong đám mây trước, nhưng cho phép dự phòng sang trên thiết bị: đặt primary thành mô hình đám mây và secondary thành mô hình "hệ thống".

    Xin lưu ý rằng SDK chỉ hỗ trợ việc đặt một model. Điều này có nghĩa là SDK sẽ chỉ thử suy luận trên thiết bị hoặc trong đám mây. Tuy nhiên, để có trải nghiệm kết hợp, bạn cần tạo HybridModel và đặt cả mô hình primary và secondary.

    Tìm hiểu thêm về hành vi của "chế độ suy luận" (thứ tự suy luận được thử) trong Tuỳ chọn cấu hình.

Ví dụ sau đây cho thấy cách thử suy luận trên thiết bị trước, nhưng cho phép chuyển đổi sang mô hình được lưu trữ trên đám mây:

// Initialize the Gemini Developer API backend service
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model
// Provide your preferred model as `primary` and your fallback model as `secondary`
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Bước 4: Gửi yêu cầu về lời nhắc đến mô hình

Phần này hướng dẫn bạn cách thực hiện những việc sau:

Tạo văn bản từ dữ liệu đầu vào chỉ có văn bản

Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này.

Để tạo văn bản từ lời nhắc có chứa văn bản, hãy sử dụng respond(to:) như sau:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Truyền trực tuyến văn bản từ dữ liệu đầu vào chỉ có văn bản

Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này.

Bạn có thể tương tác nhanh hơn bằng cách không đợi toàn bộ kết quả từ quá trình tạo mô hình mà thay vào đó sử dụng tính năng truyền trực tuyến để xử lý kết quả từng phần. Để truyền trực tuyến văn bản được tạo từ lời nhắc có chứa văn bản, hãy sử dụng streamResponse(to:) như sau:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Bạn có thể làm gì nữa?

Bạn có thể sử dụng nhiều tuỳ chọn và chức năng cấu hình bổ sung cho trải nghiệm kết hợp:

Các tính năng chưa được hỗ trợ cho tính năng suy luận kết hợp hoặc trên thiết bị

Vì là bản phát hành thử nghiệm nên không phải tất cả các chức năng của Firebase AI Logic hoặc các mô hình được lưu trữ trên đám mây đều được hỗ trợ.

  • Các mô hình Imagen, Gemini Live API và mẫu lời nhắc không được hỗ trợ cho việc triển khai kết hợp hoặc trên thiết bị implementations. Ngoài ra, bạn không nên dựa vào số lượng mã thông báo vì số lượng này sẽ khác nhau giữa các mô hình được lưu trữ trên đám mây và trên thiết bị, vì vậy, không có cơ chế chuyển đổi trực quan.

  • Các tính năng sau chưa được hỗ trợ cho tính năng suy luận trên thiết bị. Nếu bạn muốn sử dụng bất kỳ tính năng nào trong số này, thì bạn chỉ nên sử dụng mô hình được lưu trữ trên đám mây để có trải nghiệm nhất quán hơn.

    • Tạo văn bản từ dữ liệu đầu vào đa phương thức, chẳng hạn như hình ảnh, âm thanh, video và tài liệu (tệp PDF)

    • Tạo nội dung nghe nhìn, chẳng hạn như hình ảnh, âm thanh hoặc video

    • Gửi các yêu cầu vượt quá 4096 mã thông báo (hoặc khoảng 3000 từ tiếng Anh).

    • Cung cấp cho mô hình trên thiết bị các công cụ tích hợp để giúp mô hình này tạo phản hồi (chẳng hạn như thực thi mã, ngữ cảnh URL và Grounding with Google Search)

  • Tính năng giám sát bằng AI trong bảng điều khiển Firebase không hiển thị bất kỳ dữ liệu nào cho tính năng suy luận trên thiết bị (bao gồm cả nhật ký trên thiết bị). Tuy nhiên, bạn có thể giám sát mọi tính năng suy luận sử dụng mô hình được lưu trữ trên đám mây giống như các tính năng suy luận khác thông qua Firebase AI Logic.

Các giới hạn khác

Ngoài những giới hạn nêu trên, tính năng suy luận trên thiết bị còn có các giới hạn sau:


Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic