Mỗi lệnh gọi bạn gửi đến một mô hình sẽ bao gồm các giá trị tham số kiểm soát cách mô hình đó tạo một phản hồi. Mô hình có thể tạo ra kết quả khác nhau cho các giá trị tham số khác nhau. Hãy thử nghiệm với nhiều giá trị thông số để nhận được giá trị tốt nhất cho tác vụ. Các tham số dành cho các mô hình khác nhau có thể khác nhau.
Cấu hình này được duy trì trong suốt thời gian hoạt động của thực thể mô hình và dịch vụ Vertex AI đã khởi tạo. Để cập nhật cấu hình của mô hình, bạn phải khởi động lại thực thể mô hình.
Bạn có thể tìm hiểu cách định cấu hình các tham số của mô hình ở phần sau của trang này.
Nội dung mô tả của từng thông số
Sau đây là các tham số phổ biến nhất:
Tìm hiểu về từng thông số này trong các phần sau của trang này.
Mã thông báo đầu ra tối đa
Số lượng mã thông báo tối đa có thể tạo trong phản hồi. Mã thông báo có khoảng 4 ký tự. 100 mã thông báo tương ứng với khoảng 20 từ.
Hãy chỉ định giá trị thấp hơn cho phản hồi ngắn hơn và giá trị cao hơn cho phản hồi dài hơn.
Nhiệt độ
Nhiệt độ được dùng để lấy mẫu trong quá trình tạo phản hồi, xảy ra khi áp dụng topP và topK. Nhiệt độ kiểm soát mức độ ngẫu nhiên trong việc lựa chọn mã thông báo. Nhiệt độ thấp hơn phù hợp với những câu lệnh yêu cầu phản hồi sáng tạo hoặc ít quyết định hơn và ít mở hoặc ít sáng tạo hơn, trong khi nhiệt độ cao hơn có thể dẫn đến kết quả đa dạng hoặc sáng tạo hơn. Nhiệt độ 0 có tính xác định, nghĩa là phản hồi xác suất cao nhất luôn được chọn.
Đối với hầu hết các trường hợp sử dụng, hãy thử bắt đầu ở mức nhiệt độ 0.2. Nếu mô hình trả về một phản hồi quá chung chung, quá ngắn hoặc mô hình đưa ra một phản hồi dự phòng, hãy thử tăng nhiệt độ.
Hàng đầu
Top-K thay đổi cách mô hình chọn mã thông báo cho đầu ra. K hàng đầu là 1 có nghĩa là mã thông báo được chọn tiếp theo có khả năng cao nhất trong số tất cả các mã thông báo trong từ vựng của mô hình (còn gọi là giải mã tham số), trong khi K hàng đầu là 3 có nghĩa là mã thông báo tiếp theo được chọn trong số 3 mã có khả năng xuất hiện nhất bằng cách sử dụng nhiệt độ.
Đối với mỗi bước chọn mã thông báo, những mã thông báo hàng đầu có xác suất cao nhất sẽ được lấy mẫu. Sau đó, các mã thông báo sẽ được lọc thêm dựa trên P hàng đầu với mã thông báo cuối cùng được chọn bằng cách lấy mẫu nhiệt độ.
Hãy chỉ định giá trị thấp hơn cho ít phản hồi ngẫu nhiên hơn và giá trị cao hơn để có nhiều phản hồi ngẫu nhiên hơn. K hàng đầu mặc định là 40.
Hàng đầu
P hàng đầu thay đổi cách mô hình chọn mã thông báo cho đầu ra. Các mã thông báo được chọn từ nhiều nhất (xem hàng đầu K) đến ít có khả năng xảy ra nhất cho đến khi tổng xác suất của các mã đó bằng với giá trị P hàng đầu. Ví dụ: nếu mã thông báo A, B và C có xác suất là 0, 3, 0, 2 và 0, 1 và giá trị P hàng đầu là 0.5, thì mô hình sẽ chọn A hoặc B làm mã thông báo tiếp theo bằng cách sử dụng nhiệt độ và loại trừ C làm đề xuất.
Hãy chỉ định giá trị thấp hơn cho ít phản hồi ngẫu nhiên hơn và giá trị cao hơn để có nhiều phản hồi ngẫu nhiên hơn. P hàng đầu mặc định là 0.95.