Các lựa chọn cấu hình cho trải nghiệm kết hợp trong ứng dụng Web


Trang này mô tả các tuỳ chọn cấu hình sau:

Bạn cũng có thể tạo đầu ra có cấu trúc, bao gồm JSON và enum.

Trước khi bắt đầu

Đảm bảo rằng bạn đã hoàn tất hướng dẫn bắt đầu sử dụng để xây dựng trải nghiệm kết hợp.

Đặt chế độ suy luận

Các ví dụ trong hướng dẫn bắt đầu sử dụng chế độ PREFER_ON_DEVICE, nhưng đây chỉ là một trong bốn chế độ suy luận hiện có.

  • PREFER_ON_DEVICE: Sử dụng mô hình trên thiết bị nếu có; nếu không, hãy quay lại mô hình được lưu trữ trên đám mây.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE: Sử dụng mô hình trên thiết bị nếu có; nếu không, hãy đưa ra một ngoại lệ.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD: Sử dụng mô hình được lưu trữ trên đám mây nếu có; nếu không, hãy quay lại mô hình trên thiết bị.

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD: Sử dụng mô hình được lưu trữ trên đám mây nếu có; nếu không, hãy đưa ra một ngoại lệ.

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

Xác định xem suy luận trên thiết bị hay trong đám mây đã được sử dụng

Nếu bạn sử dụng chế độ suy luận PREFER_ON_DEVICE hoặc PREFER_IN_CLOUD, thì bạn có thể cần biết chế độ nào đã được sử dụng cho các yêu cầu nhất định. Thông tin này được cung cấp bởi thuộc tính inferenceSource của mỗi phản hồi (có từ SDK JS phiên bản 12.5.0).

Khi bạn truy cập vào thuộc tính này, giá trị được trả về sẽ là ON_DEVICE hoặc IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Ghi đè mô hình dự phòng mặc định

Mô hình được lưu trữ trên đám mây mặc định là gemini-2.5-flash-lite (có từ SDK JS phiên bản 12.8.0).

Mô hình này là mô hình dự phòng được lưu trữ trên đám mây khi bạn sử dụng chế độ PREFER_ON_DEVICE. Đây cũng là mô hình mặc định khi bạn sử dụng chế độ ONLY_IN_CLOUD hoặc chế độ PREFER_IN_CLOUD.

Bạn có thể sử dụng tuỳ chọn cấu hình inCloudParams để chỉ định một mô hình được lưu trữ trên đám mây mặc định thay thế.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Tìm tên mô hình cho tất cả các mô hình Gemini được hỗ trợ.

Sử dụng cấu hình mô hình để kiểm soát các phản hồi

Trong mỗi yêu cầu gửi đến một mô hình, bạn có thể gửi kèm theo cấu hình mô hình để kiểm soát cách mô hình tạo phản hồi. Các mô hình được lưu trữ trên đám mây và mô hình trên thiết bị cung cấp các tuỳ chọn cấu hình khác nhau.

Cấu hình được duy trì trong suốt thời gian tồn tại của thực thể. Nếu bạn muốn sử dụng một cấu hình khác, hãy tạo một thực thể GenerativeModel mới bằng cấu hình đó.

Định cấu hình mô hình được lưu trữ trên đám mây

Sử dụng tuỳ chọn inCloudParams để định cấu hình mô hình Gemini được lưu trữ trên đám mây. Tìm hiểu về các tham số có sẵn.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
    temperature: 0.8,
    topK: 10
  }
});

Định cấu hình mô hình trên thiết bị

Xin lưu ý rằng quá trình suy luận bằng mô hình trên thiết bị sử dụng Prompt API từ Chrome.

Sử dụng tuỳ chọn onDeviceParams để định cấu hình mô hình trên thiết bị. Tìm hiểu về các tham số có sẵn.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      temperature: 0.8,
      topK: 8
    }
  }
});