Vertex AI in Firebase SDK'sı kullanarak uygulamanızdan Gemini API çağırırken Gemini modelinden çok modlu girişe dayalı metin oluşturmasını isteyebilirsiniz. Çok modlu istemler, birden fazla modalite (veya giriş türü) içerebilir. metin, resim, PDF, video ve ses gibi öğeler içerir.
Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio.
Başlamadan önce
Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzu. Aşağıdakilerin tümünü yaptığınızdan emin olun:
Aşağıdakiler dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun: Fiyatlandırma planını Blaze edin ve gerekli API'leri etkinleştirin.
Uygulamanızı kaydetme ve Firebase yapılandırmasını uygulamanıza ekleyin.
SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli başlatın dokunun.
Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmeti ve üretken model, Gemini API numarasını aramaya hazırsınız.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden çok resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metinden ve tek bir resimden metin oluştur
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve birden çok resimden metin oluşturun
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Akış olmadan
Alternatif olarak, bunun yerine sonucun tamamını bekleyebilirsiniz akış; sonuç yalnızca model tüm adımları tamamladıktan sonra döndürülür oluşturma sürecidir.
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve videodan metin oluştur
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir video (bu örnekte gösterildiği gibi). Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Giriş dosyaları için gereksinimler ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından emin olun ve en iyi uygulamaları görmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve gereksinimler.
Başka ne yapabilirsiniz?
- Jetonların nasıl sayılacağını öğrenin önce modele uzun istemler göndermeden önce gelmesi gerekir.
- Cloud Storage for Firebase ayarlarını yapın Böylece, çok modlu isteklerinize Cloud Storage URL. Dosyalar; resim, PDF, video ve ses dosyalarını içerebilir.
- Üretime hazırlanma üzerine düşünmeye başlayın, Firebase App Check kurulumu yapılıyor yetkisiz müşterilerin kötüye kullanımından Gemini API korumak için.
Gemini API'ın diğer özelliklerini deneyin
- Çok dönüşlü görüşmeler (sohbet) oluşturun.
- Şu kaynaktan metin oluştur: yalnızca metin istemleri.
- Bağlanmak için işlev çağrısı özelliğini kullanın üretken modelleri dış sistemlere ve bilgilere
İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin
- Aşağıdakiler dahil olmak üzere istem tasarımını anlama: en iyi uygulamalar, stratejiler ve örnek istemler.
- Aşağıdaki gibi model parametrelerini yapılandırın sıcaklık ve maksimum çıkış jetonları.
- Güvenlik ayarlarını kullanarak alma olasılığını azaltır.
Gemini modelleri hakkında daha fazla bilgi
Şu konu hakkında bilgi edinin: çeşitli kullanım alanları için kullanılabilecek modeller ve kotalar ve fiyatlandırma hakkında daha fazla bilgi edinin.Geri bildirimde bulunma Vertex AI in Firebase deneyiminiz hakkında bilgi