Firebase için Vertex AI SDK'sı kullanarak uygulamanızdan Vertex AI Gemini API'yi çağırırken Gemini modelinden çok modlu girişe göre metin oluşturmasını isteyebilirsiniz. Çok modlu istemler; resimlerle birlikte metin, PDF, video ve ses gibi birden fazla modaliteyi (veya giriş türlerini) içerebilir.
Girişin metin olmayan kısımları (ör. medya dosyaları) için desteklenen dosya türlerini kullanmanız, desteklenen bir MIME türü belirtmeniz, ayrıca dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından ve en iyi uygulamalara uygun olduğundan emin olmanız gerekir.
Desteklenen giriş dosyaları modele göre değişir ve resim, PDF, video ve ses içerebilir.
- Desteklenen video girişinin de modele göre değiştiğini ve yalnızca kareler ya da sesli kareler içerebileceğini unutmayın.
Giriş dosyaları ve çok modlu istekler için gereksinimler ve en iyi uygulamalar:
Gemini modelleri hakkında bilgi edinin. Burada, modele bağlı olarak desteklenen dosyalarla ilgili gereksinimlerin (ör. maksimum dosya sayısı ve maksimum dosya boyutu) kısa bir özetini bulabilirsiniz.
Google Cloud belgelerinde, giriş dosyaları ve çok modlu isteklerle ilgili gereklilikler ve en iyi uygulamalar (ör. desteklenen MIME türleri ve giriş dosyasının istekte ne zaman sağlanacağı) hakkında ayrıntılı bilgiler edinebilirsiniz.
Firebase için Vertex AI SDK'larına özel koşullar
Firebase SDK'ları için Vertex AI'da maksimum istek boyutu 20 MB'tır. İstek çok büyükse HTTP 413 hatası alırsınız.
Bir dosyanın boyutu, toplam istek boyutunun 20 MB'ı aşmasına neden olacaksa dosyayı çok modlu isteğinize dahil etmek için bir Firebase için Cloud Storage URL'si kullanın.
Bir dosya küçükse genellikle dosyayı doğrudan satır içi veri olarak aktarabilirsiniz. Bununla birlikte, satır içi veri olarak sağlanan bir dosyanın geçiş halindeki base64'e kodlandığını ve bu durumun isteğin boyutunu büyüttüğünü unutmayın. Dosyaları satır içi veri olarak nasıl ekleyeceğinizi gösteren örnekler için Gemini API'yi kullanarak çok modlu istemlerden metin oluşturma bölümüne bakın.