Bir modele gönderdiğiniz her çağrı, modelin yanıt oluşturma şeklini kontrol eden parametre değerleri içerir. Model, farklı parametre değerleri için farklı sonuçlar oluşturabilir. Görev için en iyi değerleri elde etmek üzere farklı parametre değerleriyle denemeler yapın. Farklı modeller için kullanılabilen parametreler farklı olabilir.
Yapılandırma, başlatılan Vertex AI hizmetinin ve model örneğinin kullanım ömrü boyunca korunur. Model yapılandırmasını güncellemek için model örneğinin yeniden başlatılması gerekir.
Bu sayfanın ilerleyen bölümlerinde model parametrelerini nasıl yapılandıracağınızı öğrenebilirsiniz.
Her parametrenin açıklaması
En yaygın parametreler şunlardır:
Bu parametrelerin her biri hakkında bilgi edinmek için bu sayfanın aşağıdaki bölümlerini inceleyin.
Maksimum çıkış jetonu
Yanıtta oluşturulabilecek maksimum jeton sayısı. Bir jeton, yaklaşık dört karakterden oluşur. 100 jeton yaklaşık 20 kelimeye karşılık gelir.
Daha kısa yanıtlar için daha düşük, daha uzun yanıtlar içinse daha yüksek bir değer belirtin.
Sıcaklık
Sıcaklık, topP ve topK uygulandığında gerçekleşen yanıt oluşturma sırasında örnekleme için kullanılır. Sıcaklık, jeton seçimindeki rastgelelik derecesini kontrol eder. Düşük sıcaklıklar, daha kesin ve daha az açık uçlu veya yaratıcı yanıt gerektiren istemler için tercih edilir. Yüksek sıcaklıklar ise daha çeşitli veya yaratıcı sonuçlar sunabilir. 0 sıcaklığı, her zaman en yüksek olasılık yanıtının seçildiği anlamına gelen deterministiktir.
Çoğu kullanım alanında 0.2 sıcaklığında başlamayı deneyin. Model çok genel veya çok kısa bir yanıt döndürüyorsa ya da yedek yanıt veriyorsa sıcaklığı artırmayı deneyin.
İlk K
Top-K, modelin çıkış için jetonları nasıl seçtiğini değiştirir. 1 için en iyi K, seçilen bir sonraki jetonun modelin kelime dağarcığındaki tüm jetonlar arasında en olası jeton olduğu anlamına gelir (açgözlü kod çözme olarak da bilinir). 3 için en iyi K ise bir sonraki jetonun sıcaklık kullanılarak en olası üç jeton arasından seçildiği anlamına gelir.
Her jeton seçim adımında, en yüksek olasılığa sahip ilk K jeton örneklenir. Ardından jetonlar, en yüksek P değerine göre daha da filtrelenir ve son jeton, sıcaklık örnekleme kullanılarak seçilir.
Daha az rastgele yanıt için daha düşük, daha fazla rastgele yanıt için daha yüksek bir değer belirtin. Varsayılan en iyi K değeri 40'tir.
Top-P
Top-P, modelin çıkış için jetonları nasıl seçtiğini değiştirir. Jetonlar, olasılıklarının toplamı en yüksek P değerine eşit olana kadar en yüksek olasılıktan (en yüksek K değerine bakın) en düşük olasılığa kadar seçilir. Örneğin, A, B ve C jetonlarının olasılıkları 0,3, 0,2 ve 0,1 ise ve en yüksek P değeri 0.5 ise model, sıcaklığı kullanarak sonraki jeton olarak A veya B'yi seçer ve C'yi aday olarak hariç tutar.
Daha az rastgele yanıt için daha düşük, daha fazla rastgele yanıt için daha yüksek bir değer belirtin. Varsayılan en yüksek P değeri 0.95'tir.
Model parametrelerini yapılandırma
Model parametrelerini, modelin başlatılması sırasında generationConfig bölümünde yapılandırırsınız. Aşağıda temel bir örnek verilmiştir:
Kotlin+KTX
// ...
val config = generationConfig {
maxOutputTokens = 200
stopSequences = listOf("red")
temperature = 0.9f
topK = 16
topP = 0.1f
}
val generativeModel = Firebase.vertexAI.generativeModel(
modelName = "MODEL_NAME",
generationConfig = config
)
// ...
Java
// ...
GenerationConfig.Builder configBuilder = new GenerationConfig.Builder();
configBuilder.maxOutputTokens = 200;
configBuilder.stopSequences = List.of("red");
configBuilder.temperature = 0.9f;
configBuilder.topK = 16;
configBuilder.topP = 0.1f;
GenerationConfig generationConfig = configBuilder.build();
GenerativeModel gm = FirebaseVertexAI.getInstance().generativeModel(
"MODEL_NAME",
generationConfig
);
GenerativeModelFutures model = GenerativeModelFutures.from(gm);
// ...
İçerik oluşturmayı kontrol etmek için diğer seçenekler
- İhtiyaçlarınıza özel çıktılar oluşturmak için modeli etkileyebilmek amacıyla istem tasarımı hakkında daha fazla bilgi edinin.
- Nefret söylemi ve müstehcen içerik dahil olmak üzere zararlı kabul edilebilecek yanıtlar alma olasılığını ayarlamak için güvenlik ayarlarını kullanın.
- Modelin davranışını yönlendirmek için sistem talimatları ayarlayın. Bu özellik, model son kullanıcıdan başka talimatlar almadan önce eklediğiniz bir "önsöz" gibidir.
- Belirli bir çıkış şemasını belirtme istemiyle birlikte bir yanıt şeması geçirin. Bu özellik en çok JSON çıkışı oluştururken kullanılır ancak sınıflandırma görevleri (ör. modelin belirli etiketleri kullanmasını istediğinizde) için de kullanılabilir.