ทําความเข้าใจและกําหนดค่าพารามิเตอร์โมเดล

การเรียกแต่ละครั้งที่คุณส่งไปยังโมเดลจะมีค่าพารามิเตอร์ที่ควบคุมวิธีที่โมเดลสร้างการตอบกลับ โมเดลสามารถสร้างผลลัพธ์ที่แตกต่างกันสําหรับค่าพารามิเตอร์ที่แตกต่างกัน ลองใช้ค่าพารามิเตอร์ต่างๆ เพื่อหาค่าที่ดีที่สุดสำหรับงานนี้ พารามิเตอร์ที่มีสำหรับรูปแบบต่างๆ อาจแตกต่างกัน

การกำหนดค่าจะคงไว้ตลอดอายุของบริการ Vertex AI และอินสแตนซ์โมเดลที่เริ่มต้น หากต้องการอัปเดตการกำหนดค่าโมเดล อินสแตนซ์โมเดลจะต้องเริ่มต้นอีกครั้ง

คุณดูวิธีกําหนดค่าพารามิเตอร์ของโมเดลได้ในหน้านี้

คําอธิบายของแต่ละพารามิเตอร์

พารามิเตอร์ที่พบบ่อยที่สุดมีดังนี้

ดูข้อมูลเกี่ยวกับพารามิเตอร์แต่ละรายการเหล่านี้ได้ในส่วนต่อไปนี้ของหน้านี้

โทเค็นเอาต์พุตสูงสุด

จำนวนโทเค็นสูงสุดที่สามารถสร้างในการตอบกลับ โทเค็นมีความยาวประมาณ 4 อักขระ โทเค็น 100 รายการจะหมายถึงคำประมาณ 20 คำ

ระบุค่าที่ต่ำลงสำหรับคำตอบที่สั้นลง และค่าที่สูงขึ้นสำหรับคำตอบที่ยาวขึ้น

อุณหภูมิ

ระบบจะใช้อุณหภูมิในการสุ่มตัวอย่างระหว่างการสร้างคำตอบ ซึ่งจะเกิดขึ้นเมื่อใช้ topP และ topK ควบคุมอุณหภูมิเพื่อกำหนดระดับความสุ่มในการเลือกโทเค็น อุณหภูมิที่ต่ำลงนั้นส่งผลดีต่อพรอมต์ที่ต้องมีการกำหนดที่แน่นอนมากขึ้น และมีการตอบสนองอย่างสร้างสรรค์หรือเปิดกว้างน้อยลง ในขณะที่อุณหภูมิที่สูงขึ้นอาจนำไปสู่ผลลัพธ์ที่หลากหลายหรือสร้างสรรค์มากขึ้น อุณหภูมิ 0 เป็นค่าที่แน่นอน ซึ่งหมายความว่าระบบจะเลือกคำตอบที่มีแนวโน้มมากที่สุดเสมอ

สําหรับกรณีการใช้งานส่วนใหญ่ ให้ลองเริ่มด้วยอุณหภูมิที่ 0.2 หากโมเดลแสดงผลคำตอบที่กว้างเกินไป สั้นเกินไป หรือแสดงผลคำตอบสำรอง ให้ลองเพิ่มอุณหภูมิ

Top-K

Top-K จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นสําหรับเอาต์พุต Top-K ของ 1 หมายความว่าโทเค็นที่เลือกถัดไปมีแนวโน้มมากที่สุดในบรรทัดโทเค็นทั้งหมดในคลังคำของโมเดล (หรือที่เรียกว่าการถอดรหัสแบบละโมบ) ส่วน Top-K ของ 3 หมายความว่าระบบจะเลือกโทเค็นถัดไปจากโทเค็นที่มีแนวโน้มมากที่สุด 3 รายการโดยใช้อุณหภูมิ

สําหรับขั้นตอนการเลือกโทเค็นแต่ละขั้นตอน ระบบจะสุ่มตัวอย่างโทเค็น K อันดับแรกที่มีความน่าจะเป็นสูงสุด จากนั้นระบบจะกรองโทเค็นเพิ่มเติมตาม P สูงสุด โดยเลือกโทเค็นสุดท้ายโดยใช้การสุ่มตัวอย่างอุณหภูมิ

ระบุค่าที่ต่ำลงเพื่อให้คำตอบแบบสุ่มน้อยลง และค่าที่สูงขึ้นเพื่อให้คำตอบแบบสุ่มมากขึ้น ค่าเริ่มต้นของ top-K คือ 40

Top-P

Top-P จะเปลี่ยนวิธีที่โมเดลเลือกโทเค็นเพื่อแสดงผล ระบบจะเลือกโทเค็นจากที่มีแนวโน้มมากที่สุด (ดูที่ top-K) ไปจนถึงมีแนวโน้มน้อยที่สุดจนกว่าผลรวมของแนวโน้มจะเท่ากับค่า top-P เช่น หากโทเค็น A, B และ C มีความน่าจะเป็น 0.3, 0.2 และ 0.1 และค่า P สูงสุดคือ 0.5 โมเดลจะเลือก A หรือ B เป็นโทเค็นถัดไปโดยใช้อุณหภูมิ และยกเว้น C ไม่ให้เป็นตัวเลือก

ระบุค่าที่ต่ำลงเพื่อให้คำตอบแบบสุ่มน้อยลง และค่าที่สูงขึ้นเพื่อให้คำตอบแบบสุ่มมากขึ้น ค่าเริ่มต้นของ top-P คือ 0.95

กําหนดค่าพารามิเตอร์ของโมเดล


คุณกำหนดค่าพารามิเตอร์โมเดลใน generationConfig ระหว่างการเริ่มต้นโมเดล ตัวอย่างเบื้องต้นมีดังนี้

Kotlin+KTX 

// ...

val config = generationConfig {
    maxOutputTokens = 200
    stopSequences = listOf("red")
    temperature = 0.9f
    topK = 16
    topP = 0.1f
}

val generativeModel = Firebase.vertexAI.generativeModel(
    modelName = "MODEL_NAME",
    generationConfig = config
)

// ...

Java 

// ...

GenerationConfig.Builder configBuilder = new GenerationConfig.Builder();
configBuilder.maxOutputTokens = 200;
configBuilder.stopSequences = List.of("red");
configBuilder.temperature = 0.9f;
configBuilder.topK = 16;
configBuilder.topP = 0.1f;

GenerationConfig generationConfig = configBuilder.build();

GenerativeModel gm = FirebaseVertexAI.getInstance().generativeModel(
    "MODEL_NAME",
    generationConfig
);

GenerativeModelFutures model = GenerativeModelFutures.from(gm);

// ...

ตัวเลือกอื่นๆ ในการควบคุมการสร้างเนื้อหา

  • ดูข้อมูลเพิ่มเติมเกี่ยวกับการออกแบบพรอมต์เพื่อให้คุณควบคุมโมเดลให้สร้างเอาต์พุตที่ตรงกับความต้องการของคุณได้
  • ใช้การตั้งค่าความปลอดภัยเพื่อปรับความเป็นไปได้ที่จะได้รับคำตอบที่อาจถือว่ามีอันตราย ซึ่งรวมถึงวาจาสร้างความเกลียดชังและเนื้อหาเกี่ยวกับเรื่องเพศอย่างโจ่งแจ้ง
  • กำหนดคำสั่งของระบบเพื่อกำหนดลักษณะการทำงานของโมเดล ฟีเจอร์นี้เปรียบเสมือน "ช่วงนำ" ที่คุณเพิ่มก่อนที่จะแสดงรูปแบบต่อผู้ใช้ปลายทาง
  • ส่งสคีมาคำตอบ wraz zพรอมต์เพื่อระบุสคีมาเอาต์พุตที่เฉพาะเจาะจง ฟีเจอร์นี้มักใช้เมื่อสร้างเอาต์พุต JSON แต่สามารถใช้กับงานการจัดประเภทได้ด้วย (เช่น เมื่อคุณต้องการให้โมเดลใช้ป้ายกำกับหรือแท็กที่เฉพาะเจาะจง)