Firebase için Vertex AI SDK'sı kullanarak uygulamanızdan Gemini API'yi çağırırken Gemini modelinden çok modlu girişe göre metin oluşturmasını isteyebilirsiniz. Çok modlu istemler; resimler, PDF'ler, video ve ses ile birlikte metin gibi birden çok modalite (veya giriş türü) içerebilir.
Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio'yu kullanmanızı öneririz.
Başlamadan önce
Henüz yapmadıysanız Firebase için Vertex AI SDK'ları ile ilgili başlangıç kılavuzunu inceleyin. Aşağıdakilerin tümünü yaptığınızdan emin olun:
Blaze fiyatlandırma planını kullanma ve gerekli API'leri etkinleştirme dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun.
Uygulamanızı Firebase'e bağlayın. Bu işlemler arasında, uygulamanızı kaydetme ve Firebase yapılandırmanızı uygulamanıza ekleme yer alır.
SDK'yı ekleyip uygulamanızda Vertex AI hizmetini ve üretken modeli başlatın.
Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten, Vertex AI hizmetini ve üretken modeli başlattıktan sonra, Gemini API'yi çağırmaya hazırsınız demektir.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden çok resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metinden ve tek bir resimden metin oluştur
Bu örneği denemeden önce, bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API'yi hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) içeren çok modlu istemlerle çağırabilirsiniz. Bu çağrılar için çok modlu istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Giriş dosyalarıyla ilgili şartları ve önerileri incelemeyi unutmayın.
Yanıtı akış şeklinde göstermeyi (generateContentStream) veya sonucun tamamı oluşturulana kadar (generateContent) yanıt beklemeyi seçin.
Akışlı
Model oluşturma işleminin sonucunun tamamını beklemeden, bunun yerine kısmi sonuçları işlemek için akışı kullanarak daha hızlı etkileşimler gerçekleştirebilirsiniz.
Bu örnekte, metin ve tek bir resim içeren çok modlu bir istem isteğinden oluşturulan metnin akışı için generateContentStream() özelliğinin nasıl kullanılacağı gösterilmektedir:
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.
Bu örnekte, metin ve tek bir resim içeren çok modlu istem isteğinden metin oluşturmak için generateContent() özelliğinin nasıl kullanılacağı gösterilmektedir:
Gemini modelini ve isteğe bağlı olarak kullanım alanınıza ve uygulamanıza uygun konumu nasıl seçeceğinizi öğrenin.
Metin ve birden çok resimden metin oluşturun
Bu örneği denemeden önce, bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API'yi hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) içeren çok modlu istemlerle çağırabilirsiniz. Bu çağrılar için çok modlu istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Giriş dosyalarıyla ilgili şartları ve önerileri incelemeyi unutmayın.
Yanıtı akış şeklinde göstermeyi (generateContentStream) veya sonucun tamamı oluşturulana kadar (generateContent) yanıt beklemeyi seçin.
Akışlı
Model oluşturma işleminin sonucunun tamamını beklemeden, bunun yerine kısmi sonuçları işlemek için akışı kullanarak daha hızlı etkileşimler gerçekleştirebilirsiniz.
Bu örnekte, metin ve birden çok resim içeren çok modlu bir istem isteğinden oluşturulan metnin akışı için generateContentStream() özelliğinin nasıl kullanılacağı gösterilmektedir:
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.
Bu örnekte, metin ve birden çok resim içeren çok modlu bir istem isteğinden metin oluşturmak için generateContent() ürününün nasıl kullanılacağı gösterilmektedir:
Gemini modelini ve isteğe bağlı olarak kullanım alanınıza ve uygulamanıza uygun konumu nasıl seçeceğinizi öğrenin.
Metin ve videodan metin oluştur
Bu örneği denemeden önce, bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API'yi hem metin hem de tek bir video içeren çok modlu istemlerle (bu örnekte gösterildiği gibi) çağırabilirsiniz. Bu çağrılar için çok modlu istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Giriş dosyalarıyla ilgili şartları ve önerileri incelemeyi unutmayın.
Yanıtı akış şeklinde göstermeyi (generateContentStream) veya sonucun tamamı oluşturulana kadar (generateContent) yanıt beklemeyi seçin.
Akışlı
Model oluşturma işleminin sonucunun tamamını beklemeden, bunun yerine kısmi sonuçları işlemek için akışı kullanarak daha hızlı etkileşimler gerçekleştirebilirsiniz.
Bu örnekte, metin ve tek bir video içeren çok modlu bir istem isteğinden oluşturulan metnin akışı için generateContentStream() özelliğinin nasıl kullanılacağı gösterilmektedir:
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.
Bu örnekte, metin ve tek bir video içeren çok modlu bir istem isteğinden metin oluşturmak için generateContent() özelliğinin nasıl kullanılacağı gösterilmektedir:
Gemini modelini ve isteğe bağlı olarak kullanım alanınıza ve uygulamanıza uygun konumu nasıl seçeceğinizi öğrenin.
Giriş dosyaları için gereksinimler ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği, dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından nasıl emin olacağınızı ve en iyi uygulamaları nasıl takip edeceğinizi öğrenmek için Desteklenen giriş dosyaları ve Vertex AI Gemini API koşulları başlıklı makaleyi inceleyin.
Başka ne yapabilirsiniz?
- Modele uzun istemler göndermeden önce jetonları nasıl sayacağınızı öğrenin.
- Cloud Storage for Firebase'i kurun. Böylece, Cloud Storage URL'lerini kullanarak çok modlu isteklerinize büyük dosyalar ekleyebilirsiniz. Dosyalar arasında resim, PDF, video ve ses dosyaları bulunabilir.
- Gemini API'yi yetkisiz istemcilerin kötüye kullanımına karşı korumak için Firebase Uygulama Kontrolü'nü ayarlama da dahil olmak üzere üretime hazırlanmaya başlayın.
Gemini API'nin diğer özelliklerini deneyin
- Çok dönüşlü görüşmeler (sohbet) oluşturun.
- Yalnızca metin içeren istemlerden metin oluşturma
- Üretken modelleri harici sistemlere ve bilgilere bağlamak için işlev çağrısı özelliğini kullanın.
İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin
- En iyi uygulamalar, stratejiler ve örnek istemler dahil olmak üzere istem tasarımını anlayın.
- Sıcaklık ve maksimum çıkış jetonları gibi model parametrelerini yapılandırın.
- Zararlı olarak değerlendirilebilecek yanıtlar alma olasılığını ayarlamak için güvenlik ayarlarını kullanın.
Gemini modelleri hakkında daha fazla bilgi
Çeşitli kullanım alanları için kullanılabilecek modeller ve bunların kotaları ve fiyatlandırması hakkında bilgi edinin.Firebase için Vertex AI deneyiminizle ilgili geri bildirimde bulunun