การเรียกแต่ละรายการที่คุณส่งไปยังโมเดลจะมีค่าพารามิเตอร์ที่ควบคุมวิธีที่โมเดลสร้างการตอบกลับ โมเดลจะสร้างผลลัพธ์ที่แตกต่างกันสำหรับค่าพารามิเตอร์ที่แตกต่างกันได้ ลองใช้ค่าพารามิเตอร์ต่างๆ เพื่อหาค่าที่ดีที่สุดสำหรับงานนี้ พารามิเตอร์ที่มีสำหรับรูปแบบต่างๆ อาจแตกต่างกัน
ระบบจะเก็บรักษาการกำหนดค่าไว้ตลอดอายุการใช้งานของบริการและอินสแตนซ์โมเดล Vertex AI ที่เริ่มต้น หากต้องการอัปเดตการกำหนดค่าโมเดล อินสแตนซ์โมเดลจะต้องเริ่มต้นอีกครั้ง
คุณสามารถดูวิธีกำหนดค่าพารามิเตอร์โมเดลได้ภายหลังในหน้านี้
คำอธิบายของแต่ละพารามิเตอร์
พารามิเตอร์ที่ใช้กันมากที่สุดมีดังนี้
ดูข้อมูลเกี่ยวกับพารามิเตอร์แต่ละตัวเหล่านี้ในส่วนต่อไปนี้ของหน้านี้
โทเค็นเอาต์พุตสูงสุด
จำนวนโทเค็นสูงสุดที่สร้างในการตอบกลับได้ โทเค็นมีความยาวประมาณ 4 อักขระ โทเค็น 100 รายการจะหมายถึงคำประมาณ 20 คำ
ระบุค่าที่ต่ำกว่าสำหรับคำตอบที่สั้นลง และค่าที่สูงขึ้นสำหรับคำตอบที่ยาวกว่า
อุณหภูมิ
ระบบจะใช้อุณหภูมิเพื่อสุ่มตัวอย่างระหว่างการสร้างคำตอบ ซึ่งจะเกิดขึ้นเมื่อใช้ topP และ topK อุณหภูมิจะควบคุม
ระดับการสุ่มในการเลือกโทเค็น อุณหภูมิที่ต่ำลงนั้นส่งผลดีต่อพรอมต์ที่ต้องมีการกำหนดที่แน่นอนมากขึ้น และมีการตอบสนองอย่างสร้างสรรค์หรือเปิดกว้างน้อยลง ในขณะที่อุณหภูมิที่สูงขึ้นอาจนำไปสู่ผลลัพธ์ที่หลากหลายหรือสร้างสรรค์มากขึ้น อุณหภูมิ 0 จะเป็นแบบกำหนดได้ ซึ่งหมายความว่าจะเลือกการตอบสนองของความน่าจะเป็นสูงสุดเสมอ
สำหรับกรณีการใช้งานส่วนใหญ่ ให้ลองเริ่มด้วยอุณหภูมิที่ 0.2 หากโมเดลแสดงการตอบสนองที่กว้างเกินไป สั้นเกินไป หรือโมเดลแสดงการตอบสนองสำรอง ให้ลองเพิ่มอุณหภูมิ
ท็อป K
Top-K จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นเพื่อแสดงผล K Top-K ของ 1 หมายความว่าโทเค็นถัดไปที่เลือกน่าจะเป็นไปได้มากที่สุดในบรรดาโทเค็นทั้งหมดในคำศัพท์ของโมเดล (หรือที่เรียกว่าการถอดรหัสแบบ Greedy) ขณะที่อันดับ K ระดับสูงสุดของ 3 หมายความว่าโทเค็นถัดไปจะเลือกจากโทเค็นที่เป็นไปได้มากที่สุด 3 รายการโดยใช้อุณหภูมิ
สำหรับขั้นตอนการเลือกโทเค็นแต่ละขั้นตอน ระบบจะสุ่มตัวอย่างโทเค็นยอดนิยม K ที่มีความน่าจะเป็นสูงสุด จากนั้นระบบจะกรองโทเค็นเพิ่มเติมโดยอิงตาม Top-P ด้วยโทเค็นสุดท้ายที่เลือกโดยใช้การสุ่มตัวอย่างอุณหภูมิ
ระบุค่าต่ำกว่าสำหรับคำตอบแบบสุ่มน้อยลงและค่าที่สูงขึ้นสำหรับคำตอบแบบสุ่มที่มากขึ้น Top-K เริ่มต้นคือ 40
ตัวท็อป-พี
Top-P จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นเพื่อแสดงผล ระบบจะเลือกโทเค็นจากมากที่สุด (ดู Top-K) ไปจนถึงที่เป็นไปได้น้อยที่สุดจนกว่าผลรวมของความน่าจะเป็นจะเท่ากับค่า Top-P เช่น หากโทเค็น A, B และ C มีความน่าจะเป็นที่ 0.3, 0.2 และ 0.1 และค่า P-P บนสุดคือ 0.5 โมเดลจะเลือก A หรือ B เป็นโทเค็นถัดไปโดยใช้อุณหภูมิและยกเว้น C เป็นผู้สมัคร
ระบุค่าต่ำกว่าสำหรับคำตอบแบบสุ่มน้อยลงและค่าที่สูงขึ้นสำหรับคำตอบแบบสุ่มที่มากขึ้น Top-P เริ่มต้นคือ 0.95