כל קריאה ששולחים למודל כוללת ערכי פרמטרים שקובעים איך המודל יוצר תגובה. המודל יכול ליצור תוצאות שונות לערכי פרמטרים שונים. כדאי לנסות ערכי פרמטרים שונים כדי לקבל את הערכים הטובים ביותר למשימה. הפרמטרים הזמינים למודלים שונים עשויים להשתנות.
ההגדרה נשמרת לכל משך החיים של השירות והמודל של Vertex AI המאתחלים. כדי לעדכן את הגדרות המודל, צריך לאתחל מחדש את מכונת המודל.
בהמשך הדף הזה מוסבר איך להגדיר פרמטרים של מודלים.
תיאור של כל פרמטר
הפרמטרים הנפוצים ביותר הם:
בקטעים הבאים בדף הזה מוסבר על כל אחד מהפרמטרים האלה.
מספר מקסימלי של אסימוני פלט
המספר המקסימלי של אסימונים שניתן ליצור בתגובה. אסימון בן כ-4 תווים. 100 אסימונים מקבילים לכ-60-80 מילים.
אפשר לציין ערך נמוך יותר לתגובות קצרות יותר וערך גבוה יותר לתגובות ארוכות יותר.
טמפרטורה
הטמפרטורה משמשת לדגימה במהלך יצירת תגובות, שמתרחשת כאשר מפעילים את הדגימה topP ו-topK. הטמפרטורה קובעת את רמת הרנדומיזציה בבחירת האסימון. טמפרטורות נמוכות יותר מתאימות להנחיות שמחייבות תגובה דטרמיניסטית ופחות פתוחה או יצירתית, וטמפרטורות גבוהות יותר יכולות להוביל לתוצאות מגוונות או יצירתיות יותר. טמפרטורה של 0 היא דטרמיניסטית, כלומר התשובה בהסתברות הגבוהה ביותר נבחרת תמיד.
ברוב התרחישים לדוגמה, כדאי להתחיל בטמפרטורה של 0.2. אם התשובה שהמודל מחזיר תשובה כללית או קצרה מדי, או שהמודל נותן תגובה חלופית, כדאי לנסות להעלות את הטמפרטורה.
סדר K
ה-Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. המשמעות של K עליון של 1 היא שהאסימון הבא שנבחר הוא בעל ההסתברות הגבוהה ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח חמדן), בעוד שהאסימון K של 3 פירושו שהאסימון הבא נבחר מבין שלושת האסימונים בעלי ההסתברות הגבוהה ביותר, באמצעות טמפרטורה.
בכל שלב של בחירת אסימונים, נדגמים אסימונים ב-K עם ההסתברויות הגבוהות ביותר. לאחר מכן, האסימונים מסוננים לפי מספר P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.
מומלץ לציין ערך נמוך יותר לתגובות אקראיות פחות וערך גבוה יותר לתגובות אקראיות יותר. ערך ברירת המחדל של האות 'K' הוא 40.
מספר P
Top-P משנה את האופן שבו המודל בוחר אסימונים לפלט. האסימונים נבחרים מהגבוהה ביותר (מידע נוסף ב-K) להסתברות הנמוכה ביותר, עד שסכום ההסתברויות שלהם יהיה שווה לערך העליון של P. לדוגמה, אם לאסימונים A, B ו-C יש הסתברות של 0.3, 0.2 ו-0.1, והערך של הגורם העליון הוא 0.5, המודל יבחר את A או B כאסימון הבא באמצעות טמפרטורה ויחריג את C כמועמד.
מומלץ לציין ערך נמוך יותר לתגובות אקראיות פחות וערך גבוה יותר לתגובות אקראיות יותר. ערך ברירת המחדל של הפרמטר 'ראש הדף' הוא 0.95.