Model parametrelerini anlama ve yapılandırma

Bir modele gönderdiğiniz her çağrı, modelin yanıt oluşturma şeklini kontrol eden parametre değerleri içerir. Model, farklı parametre değerleri için farklı sonuçlar oluşturabilir. Görev için en iyi değerleri elde etmek üzere farklı parametre değerleriyle denemeler yapın. Farklı modeller için kullanılabilen parametreler farklı olabilir.

Yapılandırma, başlatılan Vertex AI hizmetinin ve model örneğinin kullanım ömrü boyunca korunur. Model yapılandırmasını güncellemek için model örneğinin yeniden başlatılması gerekir.

Bu sayfanın ilerleyen bölümlerinde model parametrelerini nasıl yapılandıracağınızı öğrenebilirsiniz.

Her bir parametrenin açıklaması

En yaygın parametreler şunlardır:

Bu parametrelerin her biri hakkında bilgi edinmek için bu sayfanın aşağıdaki bölümlerini inceleyin.

Maksimum çıkış jetonu

Yanıtta oluşturulabilecek maksimum jeton sayısı. Bir jeton, yaklaşık dört karakterden oluşur. 100 jeton yaklaşık 20 kelimeye karşılık gelir.

Daha kısa yanıtlar için düşük, uzun yanıtlar için daha yüksek bir değer belirtin.

Sıcaklık

Sıcaklık, topP ve topK uygulandığında gerçekleşen yanıt oluşturma sırasında örnekleme için kullanılır. Sıcaklık, jeton seçimindeki rastgelelik derecesini kontrol eder. Düşük sıcaklıklar, daha kesin ve daha az açık uçlu veya yaratıcı yanıt gerektiren istemler için tercih edilir. Yüksek sıcaklıklar ise daha çeşitli veya yaratıcı sonuçlar sunabilir. 0 sıcaklığı, her zaman en yüksek olasılık yanıtının seçildiği anlamına gelen deterministiktir.

Çoğu kullanım alanında 0.2 sıcaklığında başlamayı deneyin. Model çok genel veya çok kısa bir yanıt döndürürse veya model bir yedek yanıt verirse sıcaklığı artırmayı deneyin.

İlk K

İlk K işlemi, modelin çıkış için jetonları seçme şeklini değiştirir. 1 için en iyi K, seçilen bir sonraki jetonun modelin kelime haznesindeki tüm jetonlar arasında en olası jeton olduğu anlamına gelir (açgözlü kod çözme olarak da bilinir). 3 için en iyi K ise bir sonraki jetonun, sıcaklık kullanılarak en olası üç jeton arasından seçildiği anlamına gelir.

Her jeton seçimi adımı için en yüksek olasılığa sahip ilk bin jeton örneklenir. Ardından jetonlar, en yüksek P değerine göre daha da filtrelenir ve son jeton, sıcaklık örnekleme kullanılarak seçilir.

Daha az rastgele yanıt için daha düşük, daha fazla rastgele yanıt için daha yüksek bir değer belirtin. Varsayılan ilk K üst 40.

Üst-P

Top-P, modelin çıkış için jetonları seçme şeklini değiştirir. Jetonlar, olasılıklarının toplamı en yüksek P değerine eşit olana kadar en yüksek olasılıktan (en yüksek K değerine bakın) en düşük olasılığa kadar seçilir. Örneğin, A, B ve C jetonlarının olasılığı 0,3, 0,2 ve 0,1 ise ve en yüksek değer 0.5 ise model, sıcaklığı kullanarak A veya B'yi sonraki jeton olarak seçer ve C'yi aday olarak hariç tutar.

Daha az rastgele yanıtlar için daha düşük bir değer, daha fazla rastgele yanıtlar için daha yüksek bir değer belirtin. Varsayılan en yüksek P değeri 0.95'tir.

Model parametrelerini yapılandırma


Model parametrelerini, modelin başlatılması sırasında generationConfig bölümünde yapılandırırsınız. Aşağıda temel bir örnek verilmiştir:

Kotlin+KTX 

// ...

val config = generationConfig {
    maxOutputTokens = 200
    stopSequences = listOf("red")
    temperature = 0.9f
    topK = 16
    topP = 0.1f
}

val generativeModel = Firebase.vertexAI.generativeModel(
    modelName = "MODEL_NAME",
    generationConfig = config
)

// ...

Java 

// ...

GenerationConfig.Builder configBuilder = new GenerationConfig.Builder();
configBuilder.maxOutputTokens = 200;
configBuilder.stopSequences = List.of("red");
configBuilder.temperature = 0.9f;
configBuilder.topK = 16;
configBuilder.topP = 0.1f;

GenerationConfig generationConfig = configBuilder.build();

GenerativeModel gm = FirebaseVertexAI.getInstance().generativeModel(
    "MODEL_NAME",
    generationConfig
);

GenerativeModelFutures model = GenerativeModelFutures.from(gm);

// ...

İçerik oluşturmayı kontrol etmek için diğer seçenekler

  • Modeli, ihtiyaçlarınıza özel çıktılar oluşturacak şekilde etkileyebilmek için istem tasarımı hakkında daha fazla bilgi edinin.
  • Nefret söylemi ve müstehcen içerik de dahil olmak üzere zararlı olabilecek yanıtlar alma olasılığını ayarlamak için güvenlik ayarlarını kullanın.
  • Modelin davranışını yönlendirmek için sistem talimatları ayarlayın. Bu özellik, model son kullanıcıdan başka talimatlar almadan önce eklediğiniz bir "önsöz" gibidir.
  • Belirli bir çıkış şeması belirtmek için istemle birlikte bir yanıt şeması iletin. Bu özellik en çok JSON çıkışı oluştururken kullanılır ancak sınıflandırma görevleri (ör. modelin belirli etiketleri kullanmasını istediğinizde) için de kullanılabilir.