การเรียกแต่ละครั้งที่คุณส่งไปยังโมเดลจะมีค่าพารามิเตอร์ที่ควบคุมวิธีที่โมเดลสร้างการตอบกลับ โมเดลสามารถสร้างผลลัพธ์ที่แตกต่างกันสําหรับค่าพารามิเตอร์ที่แตกต่างกัน ทดสอบค่าพารามิเตอร์ต่างๆ เพื่อหาค่าที่ดีที่สุดสําหรับงาน พารามิเตอร์ที่ใช้ได้กับแต่ละรุ่นอาจแตกต่างกัน
ระบบจะคงการกําหนดค่าไว้ตลอดอายุการใช้งานของVertex AIบริการและอินสแตนซ์โมเดลที่เริ่มต้น หากต้องการอัปเดตการกําหนดค่ารูปแบบ คุณต้องเริ่มต้นอินสแตนซ์รูปแบบอีกครั้ง
คุณดูวิธีกําหนดค่าพารามิเตอร์ของโมเดลได้ในหน้านี้
คําอธิบายของแต่ละพารามิเตอร์
พารามิเตอร์ที่พบบ่อยที่สุดมีดังนี้
ดูข้อมูลเกี่ยวกับพารามิเตอร์แต่ละรายการเหล่านี้ได้ในส่วนต่อไปนี้ของหน้านี้
โทเค็นเอาต์พุตสูงสุด
จำนวนโทเค็นสูงสุดที่สามารถสร้างในการตอบกลับ โทเค็นมีความยาวประมาณ 4 อักขระ โทเค็น 100 รายการจะสอดคล้องกับคำประมาณ 20 คำ
ระบุค่าที่ต่ำลงสำหรับคำตอบที่สั้นลง และค่าที่สูงขึ้นสำหรับคำตอบที่ยาวขึ้น
อุณหภูมิ
ระบบจะใช้อุณหภูมิในการสุ่มตัวอย่างระหว่างการสร้างคำตอบ ซึ่งจะเกิดขึ้นเมื่อใช้ topP และ topK อุณหภูมิควบคุมระดับความสุ่มในการเลือกโทเค็น อุณหภูมิที่ต่ำเหมาะสำหรับพรอมต์ที่ต้องใช้คำตอบแบบกำหนดตายตัวมากขึ้นและคำตอบแบบเปิดหรือครีเอทีฟโฆษณาน้อยลง ส่วนอุณหภูมิที่สูงอาจนำไปสู่ผลลัพธ์ที่หลากหลายหรือครีเอทีฟโฆษณามากขึ้น อุณหภูมิ 0 เป็นค่าที่แน่นอน ซึ่งหมายความว่าระบบจะเลือกคำตอบที่มีแนวโน้มมากที่สุดเสมอ
สําหรับ Use Case ส่วนใหญ่ ให้ลองเริ่มต้นด้วยอุณหภูมิ 0.2 หากโมเดลแสดงผลคำตอบที่กว้างเกินไป สั้นเกินไป หรือแสดงผลคำตอบสำรอง ให้ลองเพิ่มอุณหภูมิ
Top-K
Top-K จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นสําหรับเอาต์พุต Top-K ของ 1 หมายความว่าโทเค็นที่เลือกถัดไปมีแนวโน้มมากที่สุดในบรรทัดโทเค็นทั้งหมดในคลังคำของโมเดล (หรือที่เรียกว่าการถอดรหัสแบบละโมบ) ส่วน Top-K ของ 3 หมายความว่าระบบจะเลือกโทเค็นถัดไปจากโทเค็นที่มีแนวโน้มมากที่สุด 3 รายการโดยใช้อุณหภูมิ
สําหรับขั้นตอนการเลือกโทเค็นแต่ละขั้นตอน ระบบจะสุ่มตัวอย่างโทเค็น K อันดับแรกที่มีความน่าจะเป็นสูงสุด จากนั้นระบบจะกรองโทเค็นเพิ่มเติมตาม P สูงสุด โดยเลือกโทเค็นสุดท้ายโดยใช้การสุ่มตัวอย่างอุณหภูมิ
ระบุค่าที่ต่ำลงเพื่อให้คำตอบแบบสุ่มน้อยลง และค่าที่สูงขึ้นเพื่อให้คำตอบแบบสุ่มมากขึ้น ค่าเริ่มต้นของ top-K คือ 40
Top-P
Top-P จะเปลี่ยนวิธีเลือกโทเค็นสำหรับเอาต์พุตของโมเดล ระบบจะเลือกโทเค็นจากที่มีแนวโน้มมากที่สุด (ดูที่ top-K) ไปจนถึงมีแนวโน้มน้อยที่สุดจนกว่าผลรวมของแนวโน้มจะเท่ากับค่า top-P เช่น หากโทเค็น A, B และ C มีความน่าจะเป็น 0.3, 0.2 และ 0.1 และค่า P สูงสุดคือ 0.5 โมเดลจะเลือก A หรือ B เป็นโทเค็นถัดไปโดยใช้อุณหภูมิ และยกเว้น C ไม่ให้เป็นตัวเลือก
ระบุค่าที่ต่ำลงเพื่อให้คำตอบแบบสุ่มน้อยลง และค่าที่สูงขึ้นเพื่อให้คำตอบแบบสุ่มมากขึ้น ค่าเริ่มต้นของ top-P คือ 0.95
กําหนดค่าพารามิเตอร์ของโมเดล
ตัวเลือกอื่นๆ ในการควบคุมการสร้างเนื้อหา
- ดูข้อมูลเพิ่มเติมเกี่ยวกับการออกแบบพรอมต์เพื่อให้คุณควบคุมโมเดลให้สร้างเอาต์พุตที่ตรงกับความต้องการของคุณได้
- ใช้การตั้งค่าความปลอดภัยเพื่อปรับความเป็นไปได้ที่จะได้รับคำตอบที่อาจถือว่ามีอันตราย ซึ่งรวมถึงวาจาสร้างความเกลียดชังและเนื้อหาเกี่ยวกับเรื่องเพศอย่างโจ่งแจ้ง
- ตั้งค่าคำสั่งของระบบเพื่อกำหนดลักษณะการทำงานของโมเดล ฟีเจอร์นี้เปรียบเสมือน "ช่วงนำ" ที่คุณเพิ่มก่อนที่จะแสดงรูปแบบต่อผู้ใช้ปลายทาง
- ส่งสคีมาคำตอบ wraz zพรอมต์เพื่อระบุสคีมาเอาต์พุตที่เฉพาะเจาะจง ฟีเจอร์นี้มักใช้เมื่อสร้างเอาต์พุต JSON แต่สามารถใช้กับงานการจัดประเภทได้ด้วย (เช่น เมื่อคุณต้องการให้โมเดลใช้ป้ายกำกับหรือแท็กที่เฉพาะเจาะจง)