การเรียกแต่ละรายการที่คุณส่งไปยังโมเดลจะมีค่าพารามิเตอร์ที่ควบคุมวิธีการ โมเดลจะสร้างคำตอบ โมเดลนี้สามารถสร้างผลลัพธ์ที่แตกต่างกันสำหรับ ค่าพารามิเตอร์ต่างๆ ทดลองใช้ค่าพารามิเตอร์ต่างๆ ค่าที่ดีที่สุดสำหรับงานนี้ พารามิเตอร์ที่ใช้ได้กับรูปแบบต่างๆ อาจ แตกต่างกัน
การกำหนดค่าจะคงไว้ตลอดอายุการใช้งานของ บริการและอินสแตนซ์ของโมเดล Vertex AI หากต้องการอัปเดตการกำหนดค่าโมเดล อินสแตนซ์โมเดลจะต้องเริ่มต้นอีกครั้ง
ในส่วนต่อไปของหน้านี้ คุณสามารถเรียนรู้วิธี กำหนดค่าพารามิเตอร์โมเดล
คำอธิบายของแต่ละพารามิเตอร์
พารามิเตอร์ที่ใช้กันมากที่สุดมีดังนี้
ดูข้อมูลเกี่ยวกับพารามิเตอร์แต่ละตัวเหล่านี้ในส่วนต่อไปนี้ของหน้านี้
โทเค็นเอาต์พุตสูงสุด
จำนวนโทเค็นสูงสุดที่สร้างในการตอบกลับได้ โทเค็นคือ ประมาณ 4 อักขระ โทเค็น 100 รายการจะหมายถึงคำประมาณ 20 คำ
ระบุค่าที่ต่ำกว่าสำหรับคำตอบที่สั้นลงและค่าที่สูงกว่าสำหรับคำตอบที่นานกว่า คำตอบ
อุณหภูมิ
อุณหภูมิจะใช้เพื่อการสุ่มตัวอย่างระหว่างการสร้างการตอบสนองซึ่งเกิดขึ้น
เมื่อใช้ topP และ topK ตัวควบคุมอุณหภูมิ
ระดับการสุ่มในการเลือกโทเค็น อุณหภูมิที่ต่ำลงเหมาะกับ
พรอมต์ที่ต้องมีการกำหนดตายตัวมากขึ้น และมีแนวคิดแบบเปิดหรือมีความคิดสร้างสรรค์น้อยกว่า
การตอบสนองขณะที่อุณหภูมิที่สูงขึ้นอาจทำให้มีความหลากหลายหรือสร้างสรรค์มากขึ้น
ผลลัพธ์ อุณหภูมิ 0 เป็นเชิงกำหนด ซึ่งหมายความว่า
ระบบจะเลือกคำตอบที่มีความน่าจะเป็นสูงสุดไว้เสมอ
สำหรับกรณีการใช้งานส่วนใหญ่ ให้ลองเริ่มด้วยอุณหภูมิที่ 0.2 ถ้า
โมเดลส่งคืนคำตอบที่กว้างเกินไป สั้นเกินไป หรือโมเดลให้
การตอบสนองสำรอง ลองเพิ่มอุณหภูมิ
ท็อป K
Top-K จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นเพื่อแสดงผล ท็อป K ของ
1 หมายความว่าโทเค็นที่เลือกถัดไปน่าจะเป็นไปได้มากที่สุดในบรรดาโทเค็นทั้งหมด
ในคำศัพท์ของโมเดล (หรือเรียกว่าการถอดรหัสแบบโล่ง) ขณะที่
3 หมายความว่าจะเลือกโทเค็นถัดไปจากตัวเลือกยอดนิยม 3 รายการ
โทเค็นที่เป็นไปได้โดยใช้อุณหภูมิ
สำหรับขั้นตอนการเลือกโทเค็นแต่ละรายการ โทเค็นสูงสุด K ที่มีค่าสูงสุด จะเป็นการสุ่มตัวอย่าง จากนั้นระบบจะกรองโทเค็นเพิ่มเติมโดยอิงตาม Top-P ที่มี โทเค็นสุดท้ายที่เลือกโดยใช้การสุ่มตัวอย่างอุณหภูมิ
ระบุค่าต่ำกว่าสำหรับคำตอบแบบสุ่มน้อยลงและค่าที่สูงขึ้นสำหรับคำตอบที่มากกว่า
คำตอบแบบสุ่ม Top-K เริ่มต้นคือ 40
ตัวท็อป-พี
Top-P จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นเพื่อแสดงผล เลือกโทเค็นแล้ว
จากมากที่สุด (ดู top-K) ไปหาความน่าจะเป็นน้อยที่สุดจนถึงผลรวมของความน่าจะเป็น
เท่ากับค่า Top-P เช่น ถ้าโทเค็น A, B และ C มีความน่าจะเป็น
0.3, 0.2 และ 0.1 และค่า P-P บนสุดคือ 0.5 โมเดลจะ
เลือก A หรือ B เป็นโทเค็นถัดไปโดยใช้อุณหภูมิและยกเว้น C เป็นโทเค็น
เป็นตัวเลือก
ระบุค่าต่ำกว่าสำหรับคำตอบแบบสุ่มน้อยลงและค่าที่สูงขึ้นสำหรับคำตอบที่มากกว่า
คำตอบแบบสุ่ม Top-P เริ่มต้นคือ 0.95