Vertex AI in Firebase SDK'sını kullanarak uygulamanızdan Gemini API'ü çağırırken Gemini modelinden çok modlu girişe göre metin oluşturmasını isteyebilirsiniz. Çok modlu istemler; resimler, PDF'ler, video ve ses ile birlikte metin gibi birden çok modalite (veya giriş türü) içerebilir.
Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio kullanmanızı öneririz.
Başlamadan önce
Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzunu tamamlayın. Aşağıdakilerin tümünü yaptığınızdan emin olun:
Blaze fiyatlandırma planını kullanma ve gerekli API'leri etkinleştirme dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun.
Uygulamanızı kaydettirme ve Firebase yapılandırmanızı uygulamanıza ekleme dahil olmak üzere uygulamanızı Firebase'e bağlayın.
SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli uygulamanızda başlatın.
Uygulamanızı Firebase'e bağlayıp SDK'yı ekledikten, Vertex AI hizmetini ve üretken modeli başlattıktan sonra Gemini API öğesini çağırmaya hazırsınız demektir.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden fazla resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metin ve tek bir resimden metin oluşturma
Bu örneği denemeden önce, bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API işlevini hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi resim gibi) içeren çoklu modalite istemleriyle çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Resimler, PDF'ler, videolar ve sesler desteklenen dosya türleri arasındadır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Metin ve birden fazla resimden metin oluşturma
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API öğesini, hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) içeren çok modlu istemlerle çağırabilirsiniz. Bu çağrılar için çok modlu istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemeden, bunun yerine kısmi sonuçları işlemek için akışı kullanarak daha hızlı etkileşimler gerçekleştirebilirsiniz.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model, oluşturma sürecinin tamamını tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Metin ve videodan metin oluştur
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API'ü hem metin hem de tek bir video içeren çoklu formatlı istemlerle (bu örnekte gösterildiği gibi) çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.
Akış olmadan
Alternatif olarak, aktarmak yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma sürecini tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Giriş dosyaları için koşullar ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin koşulları karşıladığından ve en iyi uygulamalara uyduğundan nasıl emin olacağınız hakkında bilgi edinmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve koşullar başlıklı makaleyi inceleyin.
Başka ne yapabilirsiniz?
- Modele uzun istemler göndermeden önce jetonları nasıl sayacağınızı öğrenin.
- Cloud Storage URL'lerini kullanarak çok modlu isteklerinize büyük dosyalar ekleyebilmeniz için Cloud Storage for Firebase'ı ayarlayın. Dosyalar resim, PDF, video ve ses içerebilir.
- Gemini API'ı yetkisiz istemciler tarafından kötüye kullanıma karşı korumak için Firebase App Check oluşturma da dahil olmak üzere üretime hazırlanmaya başlayın.
Gemini API'ın diğer özelliklerini deneyin
- Çoklu katılımlı görüşmeler (sohbet) oluşturun.
- Yalnızca metin istemlerinden metin oluşturma
- Hem metin hem de çoklu modal istemlerden yapılandırılmış çıkış (JSON gibi) oluşturun.
- Üretken modelleri harici sistemlere ve bilgilere bağlamak için işlev çağırma özelliğini kullanın.
İçerik oluşturmayı nasıl kontrol edeceğinizi öğrenin
- En iyi uygulamalar, stratejiler ve örnek istemler dahil olmak üzere istem tasarımını anlama
- Sıcaklık ve maksimum çıkış jetonları gibi model parametrelerini yapılandırın.
- Zararlı olarak değerlendirilebilecek yanıtlar alma olasılığını ayarlamak için güvenlik ayarlarını kullanın.
Gemini modelleri hakkında daha fazla bilgi
Çeşitli kullanım alanları için kullanılabilen modeller ve bunların kotaları ile fiyatlandırması hakkında bilgi edinin.Vertex AI in Firebase ile ilgili deneyiminiz hakkında geri bildirim verin