Mỗi lệnh gọi bạn gửi đến một mô hình bao gồm các giá trị thông số kiểm soát cách mô hình sẽ tạo một phản hồi. Mô hình đó có thể tạo ra các kết quả khác nhau cho các giá trị thông số khác nhau. Thử nghiệm với các giá trị thông số khác nhau để có được các giá trị tốt nhất cho tác vụ. Các tham số có sẵn cho các mô hình khác nhau có thể khác nhau.
Cấu hình được duy trì trong suốt thời gian hoạt động của thuộc tính Dịch vụ và thực thể mô hình AI Vertex. Để cập nhật cấu hình của mô hình, bạn phải khởi động lại thực thể mô hình.
Trong phần sau của trang này, bạn có thể tìm hiểu cách định cấu hình thông số mô hình.
Nội dung mô tả của từng thông số
Sau đây là các tham số phổ biến nhất:
Tìm hiểu về từng thông số này trong các phần sau của trang này.
Mã thông báo đầu ra tối đa
Số lượng mã thông báo tối đa có thể tạo trong phản hồi. Một mã thông báo là khoảng 4 ký tự. 100 mã thông báo tương ứng với khoảng 20 từ.
Hãy chỉ định giá trị thấp hơn cho câu trả lời ngắn hơn và giá trị cao hơn cho câu trả lời dài hơn phản hồi.
Nhiệt độ
Nhiệt độ được dùng để lấy mẫu trong quá trình tạo phản hồi, xảy ra
khi áp dụng topP và topK. Điều khiển nhiệt độ
mức độ ngẫu nhiên trong việc lựa chọn mã thông báo. Nhiệt độ thấp hơn có lợi cho
các câu lệnh yêu cầu nội dung xác định và ít mở hoặc sáng tạo hơn
phản ứng của bạn, còn nhiệt độ cao hơn có thể giúp
kết quả. Nhiệt độ 0 có tính xác định, có nghĩa là
phản hồi có xác suất cao nhất luôn được chọn.
Đối với hầu hết các trường hợp sử dụng, hãy thử bắt đầu ở mức nhiệt độ 0.2. Nếu
mô hình trả về phản hồi quá chung chung, quá ngắn hoặc mô hình đưa ra
phản hồi dự phòng, hãy thử tăng nhiệt độ.
Hàng đầu
Top-K thay đổi cách mô hình chọn mã thông báo cho đầu ra. K hàng đầu trong số
1 có nghĩa là mã thông báo được chọn tiếp theo có nhiều khả năng nhất trong số tất cả
mã trong từ vựng của mô hình (còn được gọi là giải mã tham lam), trong khi phần đầu
3 có nghĩa là mã thông báo tiếp theo được chọn trong số ba mã thông báo
mã thông báo có thể có bằng cách sử dụng nhiệt độ.
Đối với mỗi bước chọn mã thông báo, những mã thông báo hàng đầu có giá trị cao nhất để lấy mẫu xác suất. Sau đó, các mã thông báo được lọc thêm dựa trên P hàng đầu với mã thông báo cuối cùng được chọn bằng cách lấy mẫu nhiệt độ.
Hãy chỉ định một giá trị thấp hơn để có ít câu trả lời ngẫu nhiên hơn và một giá trị cao hơn để có nhiều kết quả hơn
câu trả lời ngẫu nhiên. K hàng đầu mặc định là 40.
Hàng đầu
P hàng đầu thay đổi cách mô hình chọn mã thông báo cho đầu ra. Đã chọn mã thông báo
từ giá trị cao nhất (xem giá trị hàng đầu) đến giá trị có khả năng xảy ra ít nhất cho đến tổng xác suất của chúng
bằng giá trị P hàng đầu. Ví dụ: nếu mã thông báo A, B và C có xác suất là
0,3, 0,2 và 0,1 và giá trị P cao nhất là 0.5, thì mô hình sẽ
chọn A hoặc B làm mã thông báo tiếp theo bằng cách sử dụng nhiệt độ và loại trừ C làm
ứng cử viên.
Hãy chỉ định một giá trị thấp hơn để có ít câu trả lời ngẫu nhiên hơn và một giá trị cao hơn để có nhiều kết quả hơn
câu trả lời ngẫu nhiên. P hàng đầu mặc định là 0.95.