Model parametrelerini anlama ve yapılandırma


Bir modele gönderdiğiniz her çağrı, model bir yanıt oluşturur. Model, arama sonuçları sayfası için farklı parametre değerleri. Aşağıdakileri elde etmek için farklı parametre değerleriyle denemeler yapın: en iyi değerleri belirlemek önemlidir. Farklı modeller için kullanılabilen parametreler gösterir.

Yapılandırma, başlatılan deneme süresi boyunca korunur. Vertex AI hizmet ve model örneği. Model yapılandırmasını güncellemek için model örneğinin yeniden başlatılması gerekir.

Bu sayfanın ilerleyen bölümlerinde, model parametrelerini yapılandırın.

Her bir parametrenin açıklaması

En yaygın parametreler şunlardır:

Bu sayfanın sonraki bölümlerinde bu parametrelerin her biri hakkında bilgi edinebilirsiniz.

Maksimum çıkış jetonu

Yanıtta oluşturulabilecek maksimum jeton sayısı. Jeton yaklaşık dört karakter uzunluğunda olmalıdır. 100 simge yaklaşık 20 kelimeye karşılık gelir.

Kısa yanıtlar için düşük, uzun yanıtlar için daha yüksek bir değer belirtin tıklayın.

Sıcaklık

Sıcaklık, yanıt üretimi sırasında numuneleme için kullanılır. topP ve topK uygulandığında. Sıcaklık kontrolleri jeton seçimindeki rastgelelik derecesi. Daha düşük sıcaklıklar şu durumlarda iyidir: daha deterministik ve daha az açık uçlu veya yaratıcı daha yüksek sıcaklıklar ise çeşitliliği ve yaratıcılığı artırabilir. sonuç. 0 sıcaklığı deterministiktir. Diğer bir deyişle, en yüksek olasılıklı yanıt her zaman seçilir.

Çoğu kullanım durumunda 0.2 dereceyle başlamayı deneyin. Eğer model çok genel veya çok kısa bir yanıt döndürüyor ya da model yanıt, sıcaklığı artırmayı deneyin.

İlk Ana

İlk K işlemi, modelin çıkış için jetonları seçme şeklini değiştirir. İlk 1’deki 1, seçilen sonraki jetonun tüm seçenekler arasından en olası olanı olduğu anlamına gelir (ör. açgözlü kod çözme olarak da bilinir.) modelin 3, bir sonraki jetonun en önemli üç simge arasından seçileceği anlamına gelir. olası jetonlarıdır.

Her jeton seçimi adımı için en yüksek değere sahip ilk bin jeton olasılıkları örneklenir. Daha sonra jetonlar, birinci taraf değerlerine göre seçilen son jetondur.

Daha az rastgele yanıtlar için daha düşük, daha fazlası için daha yüksek bir değer belirtin yanıt verebilir. Varsayılan ilk K üst 40.

Üst-P

Top-P, modelin çıkış için jetonları seçme şeklini değiştirir. Jetonlar seçildi olasılıklarının toplamına kadar, en yüksek olasılıklı olandan en az olası olana doğru üst P değerine eşittir. Örneğin, A, B ve C jetonlarının 0,3, 0,2 ve 0,1 ve en yüksek değer 0.5 ise model sıcaklığı kullanarak bir sonraki belirteç olarak A veya B'yi seçin ve bir adaydır.

Daha az rastgele yanıtlar için daha düşük, daha fazlası için daha yüksek bir değer belirtin yanıt verebilir. Varsayılan ilk-P değeri 0.95.

Model parametrelerini yapılandırma