Bạn có thể xây dựng các ứng dụng và tính năng web dựa trên AI bằng suy luận kết hợp bằng cách sử dụng Firebase AI Logic. Tính năng suy luận kết hợp cho phép chạy suy luận bằng cách sử dụng các mô hình trên thiết bị khi có sẵn và quay lại các mô hình được lưu trữ trên đám mây một cách liền mạch (và ngược lại).
Trang này mô tả cách bắt đầu sử dụng SDK ứng dụng. Sau khi hoàn tất quy trình thiết lập tiêu chuẩn này, hãy xem các chức năng và tuỳ chọn cấu hình bổ sung.
Xin lưu ý rằng tính năng suy luận trên thiết bị thông qua Firebase AI Logic được hỗ trợ cho các ứng dụng web sử dụng Firebase AI Logic SDK phiên bản 12.5.0 trở lên và chạy trên Chrome cho máy tính (phiên bản 139 trở lên).
Chuyển đến phần xem các đoạn mã ví dụ
Trường hợp sử dụng và các chức năng được hỗ trợ
Tuỳ thuộc vào trường hợp sử dụng của ứng dụng, bạn có thể tận dụng một số lợi ích của trải nghiệm trên thiết bị hoặc trải nghiệm kết hợp:
Lợi ích của việc sử dụng mô hình trên thiết bị để suy luận:
- Tăng cường quyền riêng tư
- Bối cảnh địa phương
- Suy luận không tốn phí
- Chức năng ngoại tuyến
Lợi ích của việc sử dụng phương pháp kết hợp:
- Cung cấp trải nghiệm ứng dụng tương tự, bất kể thiết bị của người dùng cuối
- Cải thiện khả năng sử dụng các tính năng AI tạo sinh, bất kể kết nối Internet, giới hạn hạn mức hay khả năng của thiết bị
Các chức năng suy luận được hỗ trợ trên thiết bị
Tính năng suy luận trên thiết bị chỉ hỗ trợ tạo văn bản một lượt (không trò chuyện) (với đầu ra truyền trực tuyến hoặc không truyền trực tuyến), cụ thể là các chức năng sau:
Tạo văn bản từ dữ liệu đầu vào dạng văn bản và hình ảnh, cụ thể là các loại hình ảnh đầu vào JPEG và PNG.
Tạo kết quả có cấu trúc, bao gồm cả JSON và enum.
Hãy nhớ xem danh sách các tính năng chưa được hỗ trợ cho suy luận kết hợp hoặc trên thiết bị ở cuối trang này.
Các API và nền tảng được hỗ trợ
Các phần sau đây mô tả các API được hỗ trợ, cũng như các nền tảng và trình duyệt được hỗ trợ.
Các API được hỗ trợ cho suy luận trên đám mây so với suy luận trên thiết bị
Tính năng suy luận trên đám mây sử dụng nhà cung cấp Gemini API mà bạn chọn (Gemini Developer API hoặc Agent Platform Gemini API (formerly Vertex AI)).
Tính năng suy luận trên thiết bị sử dụng Prompt API của Chrome.
Nền tảng và trình duyệt được hỗ trợ
Để suy luận trên thiết bị (sử dụng Prompt API của Chrome), người dùng cuối của ứng dụng phải đang chạy Chrome trên máy tính (phiên bản 139 trở lên). Tìm hiểu thêm trong tài liệu về Chrome.
Bắt đầu trên máy chủ cục bộ
Các bước bắt đầu này mô tả cách thiết lập chung bắt buộc cho mọi yêu cầu câu lệnh được hỗ trợ mà bạn muốn gửi.
Bạn có thể tìm hiểu thêm về cách sử dụng API trên máy chủ cục bộ trong tài liệu về Chrome.
Bước 1: Thiết lập Chrome và Prompt API để suy luận trên thiết bị
Đảm bảo bạn đang dùng phiên bản Chrome mới nhất. Cập nhật trong chrome://settings/help.
Tính năng suy luận trên thiết bị có trong Chrome phiên bản 139 trở lên.Bật mô hình đa phương thức trên thiết bị bằng cách đặt cờ sau thành Enabled (Đã bật):
chrome://flags/#prompt-api-for-gemini-nano-multimodal-input
Khởi động lại Chrome.
(Không bắt buộc) Tải mô hình trên thiết bị xuống trước khi gửi yêu cầu đầu tiên.
Prompt API được tích hợp vào Chrome; tuy nhiên, mô hình trên thiết bị không được cung cấp theo mặc định. Nếu bạn chưa tải mô hình xuống trước khi gửi yêu cầu đầu tiên về suy luận trên thiết bị, thì yêu cầu đó sẽ tự động bắt đầu tải mô hình xuống ở chế độ nền.
Bước 2: Thiết lập dự án Firebase và kết nối ứng dụng của bạn với Firebase
Đăng nhập vào bảng điều khiển của Firebase, rồi chọn dự án Firebase của bạn.
Trong bảng điều khiển Firebase, hãy chuyển đến phần Dịch vụ AI > Logic AI.
Nhấp vào Get started (Bắt đầu) để khởi chạy quy trình công việc có hướng dẫn giúp bạn thiết lập các API và tài nguyên cần thiết cho dự án.
Nếu được nhắc, hãy làm theo hướng dẫn trên màn hình để đăng ký ứng dụng và thêm cấu hình Firebase vào ứng dụng.
Khi được yêu cầu chọn "Nhà cung cấp Gemini API", bạn nên chọn Gemini Developer API để bắt đầu nhanh chóng mà không mất phí.
Sau này, bạn có thể thiết lập Agent Platform Gemini API (formerly Vertex AI) (và yêu cầu về thông tin thanh toán) bất cứ lúc nào.
Tiếp tục quy trình để thiết lập các API bắt buộc và dịch vụ liên quan cho Firebase AI Logic.
Giai đoạn này của quy trình công việc sẽ tự động thực thi Firebase App Check cho AI Logic, đây là một dịch vụ quan trọng giúp bảo vệ Gemini API khi được truy cập trực tiếp từ ứng dụng của bạn. Trong quá trình bắt đầu (xem các bước sau trong hướng dẫn này), bạn cần định cấu hình nhà cung cấp dịch vụ gỡ lỗi App Check để phát triển cục bộ khi App Check được thực thi.
Tiếp tục chuyển sang bước tiếp theo trong hướng dẫn này để thêm các SDK bắt buộc vào ứng dụng của bạn.
Bước 3: Thêm SDK
Thư viện Firebase cung cấp quyền truy cập vào các API để tương tác với các mô hình tạo sinh. Thư viện này được đưa vào SDK JavaScript của Firebase cho Web.
Cài đặt SDK Firebase JS cho Web bằng npm:
npm install firebaseKhởi động Firebase trong ứng dụng của bạn:
import { initializeApp } from "firebase/app"; import { initializeAppCheck } from "firebase/app-check"; // TODO(developer) Replace the following with your app's Firebase configuration // See: https://firebase.google.com/docs/web/learn-more#config-object const firebaseConfig = { // ... }; // Initialize FirebaseApp const firebaseApp = initializeApp(firebaseConfig);
Bước 4: Định cấu hình nhà cung cấp dịch vụ gỡ lỗi App Check cho quá trình phát triển cục bộ
Trong quy trình thiết lập có hướng dẫn cho AI Logic trong bảng điều khiển, Firebase App Check sẽ tự động được thực thi để bảo vệ Gemini API. Để phát triển cục bộ, bạn cần định cấu hình App Check nhà cung cấp dịch vụ gỡ lỗi để bỏ qua quy trình chứng thực trong khi vẫn duy trì việc thực thi App Check.
Sau đây là cách sử dụng nhà cung cấp dịch vụ gỡ lỗi trong khi chạy ứng dụng từ localhost theo cách tương tác (ví dụ: trong quá trình phát triển cục bộ):
Trong bản gỡ lỗi, hãy bật chế độ gỡ lỗi bằng cách đặt
self.FIREBASE_APPCHECK_DEBUG_TOKENthànhtruetrước khi khởi chạy App Check. Ví dụ:self.FIREBASE_APPCHECK_DEBUG_TOKEN = true; initializeAppCheck(firebaseApp, { /* App Check options */ });Truy cập vào ứng dụng web của bạn trên máy và mở công cụ cho nhà phát triển của trình duyệt. Trong bảng điều khiển gỡ lỗi, bạn sẽ thấy một mã thông báo gỡ lỗi:
AppCheck debug token: "123a4567-b89c-12d3-e456-789012345678". You will need to safelist it in the Firebase console for it to work.Đăng ký mã thông báo gỡ lỗi của bạn với App Check:
Trong bảng điều khiển Firebase, hãy chuyển đến thẻ Security (Bảo mật) > App Check (Kiểm tra ứng dụng) > Apps (Ứng dụng).
Tìm ứng dụng của bạn, nhấp vào trình đơn mục bổ sung (), rồi chọn Manage debug tokens (Quản lý mã thông báo gỡ lỗi).
Làm theo hướng dẫn trên màn hình để đăng ký mã thông báo gỡ lỗi.
Để biết thông tin chi tiết về nhà cung cấp dịch vụ gỡ lỗi (bao gồm cả cách lấy mã thông báo gỡ lỗi mới), hãy xem tài liệu chính thức về App Check.
Bước 5: Khởi động dịch vụ và tạo một thực thể mô hình
|
Nhấp vào nhà cung cấp Gemini API của bạn để xem nội dung và mã dành riêng cho nhà cung cấp trên trang này. |
Hãy thiết lập những thông tin sau trước khi bạn gửi yêu cầu câu lệnh đến mô hình:
Khởi chạy dịch vụ cho nhà cung cấp API mà bạn đã chọn.
Tạo một thực thể
GenerativeModel. Hãy nhớ đặtmodethành một trong các giá trị sau:PREFER_ON_DEVICE: Sử dụng mô hình trên thiết bị nếu có; nếu không, hãy quay lại mô hình được lưu trữ trên đám mây.ONLY_ON_DEVICE: Sử dụng mô hình trên thiết bị nếu có; nếu không, hãy gửi một ngoại lệ.PREFER_IN_CLOUD: Sử dụng mô hình được lưu trữ trên đám mây nếu có; nếu không, hãy quay lại mô hình trên thiết bị.ONLY_IN_CLOUD: Sử dụng mô hình được lưu trữ trên đám mây nếu có; nếu không, hãy gửi một ngoại lệ.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
Bước 6: Khởi chạy mô hình trên thiết bị
Bạn phải gọi initializeDeviceModel() sau hoặc khi người dùng cuối tương tác với trang (chẳng hạn như nhấp vào nút) và trước khi bạn gửi yêu cầu câu lệnh đến mô hình. Tìm hiểu thêm về yêu cầu kích hoạt của người dùng trong tài liệu về Chrome.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, InferenceMode } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance
// Set the mode (for example, use the on-device model if it's available)
const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
// `initializeDeviceModel` must be called:
// (1) after or on an end-user page interaction such as a button click
// and
// (2) before any queries to the model (such as `generateContent()`)
// You may want to `await` this promise if using `ONLY_ON_DEVICE` (see note below).
model.initializeDeviceModel((val) =>
// Example: "Download progress: 72.62%""
console.log(`Download progress: ${Math.round(val*10000) / 100}%`)
);
Bước 7: Gửi yêu cầu câu lệnh đến một mô hình
Phần này hướng dẫn bạn cách gửi nhiều loại dữ liệu đầu vào để tạo ra nhiều loại dữ liệu đầu ra, bao gồm:
- Tạo văn bản do AI tạo từ dữ liệu đầu vào chỉ có văn bản
- Tạo văn bản do AI tạo từ dữ liệu đầu vào dạng văn bản và hình ảnh (đa phương thức)
Nếu bạn muốn tạo kết quả có cấu trúc (như JSON hoặc enum), hãy sử dụng một trong các ví dụ "văn bản do AI tạo" sau đây và định cấu hình mô hình để phản hồi theo lược đồ được cung cấp.
Tạo văn bản do AI tạo từ dữ liệu đầu vào chỉ có văn bản
| Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này. |
Bạn có thể sử dụng
generateContent()
để tạo văn bản do AI tạo từ một câu lệnh chứa văn bản:
// Imports + initialization of FirebaseApp and backend service + creation of model instance
// Wrap in an async function so you can use await
async function run() {
// Provide a prompt that contains text
const prompt = "Write a story about a magic backpack."
// To generate text output, call `generateContent` with the text input
const result = await model.generateContent(prompt);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Xin lưu ý rằng Firebase AI Logic cũng hỗ trợ truyền trực tuyến các câu trả lời dạng văn bản bằng cách sử dụng generateContentStream (thay vì generateContent).
Tạo văn bản do AI tạo từ dữ liệu đầu vào dạng văn bản và hình ảnh (đa phương thức)
| Trước khi thử mẫu này, hãy đảm bảo rằng bạn đã hoàn tất phần Bắt đầu của hướng dẫn này. |
Bạn có thể sử dụng
generateContent()
để tạo văn bản từ một câu lệnh chứa tệp văn bản và hình ảnh, cung cấp mimeType của mỗi tệp đầu vào và chính tệp đó.
Các loại hình ảnh đầu vào được hỗ trợ cho hoạt động suy luận trên thiết bị là PNG và JPEG.
// Imports + initialization of FirebaseApp and backend service + creation of model instance
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(',')[1]);
reader.readAsDataURL(file);
});
return {
type: "inlineData",
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the image
const prompt = "Write a poem about this picture:";
const fileInputEl = document.querySelector("input[type=file]");
const imagePart = await fileToGenerativePart(fileInputEl.files[0]);
// To generate text output, call `generateContent` with the text and image
const result = await model.generateContent([prompt, imagePart]);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Xin lưu ý rằng Firebase AI Logic cũng hỗ trợ truyền trực tuyến các câu trả lời dạng văn bản bằng cách sử dụng generateContentStream (thay vì generateContent).
Bạn có thể làm gì nữa?
Bạn có thể sử dụng nhiều tuỳ chọn và chức năng cấu hình bổ sung cho trải nghiệm kết hợp:
Các tính năng chưa được hỗ trợ
Không phải tất cả các chức năng của SDK web hoặc mô hình được lưu trữ trên đám mây đều có sẵn cho suy luận kết hợp hoặc trên thiết bị.
Các tính năng chưa được hỗ trợ cho cách triển khai kết hợp
Bạn không thể sử dụng các tính năng sau đây với phương thức triển khai kết hợp (cả trên thiết bị và thông qua phương án dự phòng trên đám mây):
Gemini Live API: Không hỗ trợ tính năng truyền trực tuyến hai chiều theo thời gian thực.
Mẫu câu lệnh phía máy chủ: Không hỗ trợ mẫu câu lệnh phía máy chủ được quản lý.
Đếm mã thông báo: Bạn không nên dựa vào số lượng mã thông báo vì số lượng này sẽ khác nhau giữa mô hình được lưu trữ trên đám mây và mô hình trên thiết bị, vì vậy, không có phương án dự phòng trực quan.
Các tính năng chưa được hỗ trợ cho hoạt động suy luận trên thiết bị
Các tính năng sau chưa được hỗ trợ cho hoạt động suy luận trên thiết bị, nhưng chúng có sẵn cho các mô hình được lưu trữ trên đám mây.
Tạo hình ảnh bằng mô hình Gemini Nano Banana
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
ONLY_ON_DEVICEsẽ báo lỗi.
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
Tạo văn bản do AI tạo từ các loại tệp hình ảnh đầu vào không phải là JPEG và PNG
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
ONLY_ON_DEVICEsẽ báo lỗi.
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
Tạo văn bản do AI tạo từ dữ liệu đầu vào đa phương thức gồm âm thanh, video và tài liệu (PDF)
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
ONLY_ON_DEVICEsẽ báo lỗi.
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
Cung cấp tệp bằng URL trong các yêu cầu đa phương thức. Bạn phải cung cấp tệp dưới dạng dữ liệu cùng dòng cho các mô hình trên thiết bị.
Trò chuyện nhiều lượt
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
ONLY_ON_DEVICEsẽ báo lỗi.
- Có thể quay lại mô hình được lưu trữ trên đám mây;
tuy nhiên, chế độ
Cung cấp cho mô hình các công cụ để giúp mô hình tạo câu trả lời (chẳng hạn như gọi hàm, thực thi mã, bối cảnh từ URL, Xác minh bằng
Google Search và Xác minh bằngGoogle Maps )Tính năng giám sát bằng AI trong bảng điều khiển Firebase không hiển thị bất kỳ dữ liệu nào cho suy luận trên thiết bị (bao gồm cả nhật ký thiết bị). Tuy nhiên, mọi hoạt động suy luận sử dụng mô hình được lưu trữ trên đám mây đều có thể được giám sát giống như các hoạt động suy luận khác thông qua Firebase AI Logic.
Các hạn chế khác
Ngoài những điều trên, suy luận trên thiết bị có các giới hạn sau:
Người dùng cuối của ứng dụng phải đang chạy Chrome trên máy tính (phiên bản 139 trở lên) và đã bật các cờ bắt buộc.
Mô hình trên thiết bị cần có đủ dung lượng lưu trữ trên thiết bị của người dùng để tải mô hình xuống lần đầu.
Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic