Mỗi lệnh gọi mà bạn gửi đến một mô hình đều bao gồm các giá trị tham số kiểm soát cách mô hình tạo phản hồi. Mô hình này có thể tạo ra nhiều kết quả cho các giá trị tham số khác nhau. Thử nghiệm với nhiều giá trị tham số để có được giá trị tốt nhất cho tác vụ. Các tham số có sẵn cho các mô hình có thể khác nhau.
Cấu hình được duy trì trong suốt thời gian hoạt động của thực thể mô hình và dịch vụ Vertex AI đã khởi tạo. Để cập nhật cấu hình mô hình, bạn phải khởi tạo lại thực thể mô hình.
Ở phần sau của trang này, bạn có thể tìm hiểu cách định cấu hình các tham số mô hình.
Nội dung mô tả về từng tham số
Sau đây là các tham số phổ biến nhất:
Tìm hiểu về từng tham số này trong các phần sau của trang này.
Số mã thông báo đầu ra tối đa
Số lượng mã thông báo tối đa có thể được tạo trong phản hồi. Mã thông báo có khoảng bốn ký tự. 100 mã thông báo tương ứng với khoảng 20 từ.
Chỉ định giá trị thấp hơn cho các phản hồi ngắn hơn và giá trị cao hơn cho các phản hồi dài hơn.
Nhiệt độ
Nhiệt độ được dùng để lấy mẫu trong quá trình tạo phản hồi, quá trình này xảy ra khi áp dụng topP và topK. Nhiệt độ kiểm soát mức độ ngẫu nhiên trong việc chọn mã thông báo. Nhiệt độ thấp hơn phù hợp với các câu lệnh yêu cầu phản hồi có tính quyết định hơn và ít mở hơn hoặc sáng tạo hơn, trong khi nhiệt độ cao hơn có thể dẫn đến kết quả đa dạng hơn hoặc sáng tạo hơn. Nhiệt độ 0 là nhiệt độ xác định, nghĩa là phản hồi có xác suất cao nhất luôn được chọn.
Đối với hầu hết các trường hợp sử dụng, hãy thử bắt đầu với nhiệt độ 0.2. Nếu mô hình trả về phản hồi quá chung chung, quá ngắn hoặc đưa ra phản hồi dự phòng, hãy thử tăng nhiệt độ.
Top-K
Top-K thay đổi cách mô hình chọn mã thông báo cho đầu ra. K-top là 1 có nghĩa là mã thông báo được chọn tiếp theo là mã thông báo có nhiều khả năng nhất trong số tất cả các mã thông báo trong từ vựng của mô hình (còn gọi là giải mã tham lam), trong khi K-top là 3 có nghĩa là mã thông báo tiếp theo được chọn trong số 3 mã thông báo có nhiều khả năng nhất bằng cách sử dụng nhiệt độ.
Đối với mỗi bước chọn mã thông báo, các mã thông báo hàng đầu có xác suất cao nhất sẽ được lấy mẫu. Sau đó, các mã thông báo được lọc thêm dựa trên P hàng đầu, trong đó mã thông báo cuối cùng được chọn bằng cách lấy mẫu nhiệt độ.
Chỉ định giá trị thấp hơn để có ít câu trả lời ngẫu nhiên hơn và giá trị cao hơn để có nhiều câu trả lời ngẫu nhiên hơn. K hàng đầu mặc định là 40.
Top-P
Top-P thay đổi cách mô hình chọn mã thông báo cho đầu ra. Các mã thông báo được chọn từ nhiều khả năng nhất (xem top-K) đến ít khả năng nhất cho đến khi tổng xác suất của các mã thông báo bằng giá trị top-P. Ví dụ: nếu mã thông báo A, B và C có xác suất là 0, 3, 0, 2 và 0, 1 và giá trị P hàng đầu là 0.5, thì mô hình sẽ chọn A hoặc B làm mã thông báo tiếp theo bằng cách sử dụng nhiệt độ và loại trừ C làm đề xuất.
Chỉ định giá trị thấp hơn để có ít câu trả lời ngẫu nhiên hơn và giá trị cao hơn để có nhiều câu trả lời ngẫu nhiên hơn. P trên cùng mặc định là 0.95.
Định cấu hình thông số mô hình
Bạn định cấu hình các tham số mô hình trong generationConfig trong quá trình khởi chạy mô hình. Sau đây là một ví dụ cơ bản:
Kotlin+KTX
// ...
val config = generationConfig {
maxOutputTokens = 200
stopSequences = listOf("red")
temperature = 0.9f
topK = 16
topP = 0.1f
}
val generativeModel = Firebase.vertexAI.generativeModel(
modelName = "MODEL_NAME",
generationConfig = config
)
// ...
Java
// ...
GenerationConfig.Builder configBuilder = new GenerationConfig.Builder();
configBuilder.maxOutputTokens = 200;
configBuilder.stopSequences = List.of("red");
configBuilder.temperature = 0.9f;
configBuilder.topK = 16;
configBuilder.topP = 0.1f;
GenerationConfig generationConfig = configBuilder.build();
GenerativeModel gm = FirebaseVertexAI.getInstance().generativeModel(
"MODEL_NAME",
generationConfig
);
GenerativeModelFutures model = GenerativeModelFutures.from(gm);
// ...
Các lựa chọn khác để kiểm soát việc tạo nội dung
- Tìm hiểu thêm về thiết kế câu lệnh để có thể tác động đến mô hình nhằm tạo ra kết quả phù hợp với nhu cầu của bạn.
- Sử dụng chế độ cài đặt an toàn để điều chỉnh khả năng nhận được những câu trả lời có thể bị coi là gây hại, bao gồm cả lời nói hận thù và nội dung khiêu dâm.
- Đặt hướng dẫn hệ thống để điều hướng hành vi của mô hình. Tính năng này giống như một "lời mở đầu" mà bạn thêm vào trước khi mô hình hiển thị bất kỳ hướng dẫn nào khác từ người dùng cuối.
- Truyền giản đồ phản hồi cùng với lời nhắc để chỉ định một giản đồ đầu ra cụ thể. Tính năng này thường được dùng nhất khi tạo đầu ra JSON, nhưng cũng có thể dùng cho các nhiệm vụ phân loại (chẳng hạn như khi bạn muốn mô hình sử dụng các nhãn hoặc thẻ cụ thể).