Vertex AI in Firebase SDK'sı kullanarak uygulamanızdan Gemini API çağrılırken Gemini modelinden çok modlu girişe dayalı metin oluşturmasını isteyebilirsiniz. Çok modlu istemler, birden fazla modalite (veya giriş türü) içerebilir. metinlerin yanı sıra resim, PDF, video ve ses gibi öğeler de kullanabilirsiniz.
Çoklu modal istemleri test etmek ve üzerinde iterasyon yapmak için Vertex AI Studio kullanmanızı öneririz.
Başlamadan önce
Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzunu tamamlayın. Aşağıdakilerin tümünü yaptığınızdan emin olun:
Blaze fiyatlandırma planını kullanma ve gerekli API'leri etkinleştirme dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun.
Uygulamanızı kaydetme ve Firebase yapılandırmasını uygulamanıza ekleyin.
SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli başlatın dokunun.
Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmetini ile üretken modeli başlattıktan sonra Gemini API işlevini çağırmaya hazırsınız.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden fazla resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metinden ve tek bir resimden metin oluştur
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Resimler, PDF'ler, videolar ve sesler gibi dosyalar desteklenir. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin.
oluşturulana kadar yanıta devam eder (generateContent).
Akış
Daha hızlı etkileşime geçmek için akış yerine kısmi sonuçları ele almak için kullanılır.
Akış olmadan
Alternatif olarak, aktarma yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve birden çok resimden metin oluşturun
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API'ü hem metin hem de birden fazla dosya (bu örnekte gösterildiği gibi resimler gibi) içeren çok modaliteli istemlerle çağırabilirsiniz. Bu aramalar için çoklu formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şu belgeyi mutlaka inceleyin: giriş dosyalarıyla ilgili şartlar ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin.
oluşturulana kadar yanıta devam eder (generateContent).
Akış
Daha hızlı etkileşime geçmek için akış yerine kısmi sonuçları ele almak için kullanılır.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model, oluşturma sürecinin tamamını tamamladıktan sonra döndürülür.
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve videodan metin oluşturma
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir video (bu örnekte gösterildiği gibi). Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Giriş dosyaları için koşullar ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından emin olun ve en iyi uygulamaları görmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve gereksinimler.
Başka ne yapabilirsiniz?
- Modele uzun istemler göndermeden önce işaretleri nasıl sayacağınızı öğrenin.
- Cloud Storage for Firebase ayarlarını yapın Böylece, çok modlu isteklerinize Cloud Storage URL. Dosyalar arasında resim, PDF, video ve ses dosyaları bulunabilir.
- Üretime hazırlanma üzerine düşünmeye başlayın, Firebase App Check kuruluyor yetkisiz müşterilerin kötüye kullanımından (Gemini API) korumak için.
Gemini API'ın diğer özelliklerini deneyin
- Çoklu katılımlı görüşmeler (sohbet) oluşturun.
- Yalnızca metin istemlerinden metin oluşturma
- Bağlanmak için işlev çağrısı özelliğini kullanma üretken modelleri dış sistemlere ve bilgilere dönüştürüyor.
İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin
- Aşağıdakiler dahil olmak üzere istem tasarımını anlama: en iyi uygulamalar, stratejiler ve örnek istemler.
- Sıcaklık ve maksimum çıkış jetonu gibi model parametrelerini yapılandırın.
- Güvenlik ayarlarını kullanarak alma olasılığını azaltır.
Gemini modelleri hakkında daha fazla bilgi
Şu konu hakkında bilgi edinin: çeşitli kullanım alanları için kullanılabilecek modeller ve kotalar ve fiyatlandırma hakkında daha fazla bilgi edinin.Vertex AI in Firebase ile ilgili deneyiminiz hakkında geri bildirim verin