Gemini API'yi uygulamanızdan çağırırken Firebase için Vertex AI SDK'sında, Gemini modelinden metin oluşturmasını isteyebilirsiniz. bir girişe göre değişir. Çok modlu istemler, birden fazla modalite içerebilir. (veya giriş türleri) kullanabilirsiniz.
Girişin metin olmayan kısımları (medya dosyaları gibi) için isteğe bağlı olarak Cloud Storage for Firebase'i kullanarak isteğe dosya ekleyin. Zaman: bu özellikle ilgili bilmeniz gerekenler şunlardır:
Cloud Storage for Firebase'i herhangi bir çok modlu istekle (ör. metin oluşturma ve sohbet). Şuradaki örnekler: Bu kılavuzda temel bir metin ve resim girişi gösterilmiştir.
Dosyanın MIME türünü ve dosyanın Cloud Storage for Firebase URL'sini belirtirsiniz (her zaman
gs://ile başlar). Bu değerler, bir Cloud Storage'a yüklenen tüm dosyalara otomatik olarak atanan meta veriler paket.Desteklenen bir dosya türü ve URL kullanmanız gerekir.
Bu çözüm kılavuzunda, Firebase için Cloud Storage'ı nasıl kuracağınız açıklanmaktadır. Google Cloud, uygulamanızdan Firebase için Cloud Storage paketine bir dosya yükleyin. ve ardından dosyanın MIME türünü ve Firebase için Cloud Storage URL'sini çok modlu isteği iletir.
Kod örneklerini görmek ister misiniz? Ya da daha önce Cloud Storage for Firebase'i kullanmaya başlamaya hazırsınız. ne olacak?
Uygulamanızda neden Firebase için Cloud Storage kullanmalısınız?
Cloud Storage for Firebase, aynı hızlı, güvenli ve güvenilir blob'ları ve dosyaları depolamak için Google Cloud Storage gibi ölçeklenebilir bir altyapı ve istemci SDK'ları özellikle mobil uygulamalar ve web uygulamaları için oluşturulmuştur.
Firebase SDK'ları için Vertex AI'da maksimum istek boyutu 20 MB'tır. İstek çok büyükse HTTP 413 hatası alırsınız. Dosyanın boyutu toplam istek boyutunu 20 MB'yi aşan bir sayı yazın, ardından bir Dosyayı çok modlu isteğinize dahil etmek için Cloud Storage for Firebase URL'sini kullanın. Bununla birlikte, dosya küçükse çoğu zaman doğrudan satır içi veri olarak aktarabilirsiniz (satır içi veri olarak sağlanan bir dosyanın, toplu taşımayı kullanır. Bu da isteğin boyutunu artırır).
Firebase için Cloud Storage kullanmanın diğer avantajlarından bazıları şunlardır:
Son kullanıcıların doğrudan uygulamanızdan bir panele resim yüklemesini Cloud Storage for Firebase paketine geçebilir ve bu görüntüleri doğrudan dosyanın MIME türünü belirterek çok modlu istemlerinizi ve Firebase için Cloud Storage URL'si (dosyaya ilişkin bir tanımlayıcıdır).
Son kullanıcılarınıza zaman ve bant genişliği tasarrufu sağlayabilirsiniz. Görüntü ve bant genişliğine bağlı olarak özellikle de ağ kaliteleri zayıf veya kesintiliyse.
- Dosya yükleme veya indirme işlemi kesintiye uğrarsa Firebase için Cloud Storage SDK'lar işlemi kaldığı yerden otomatik olarak yeniden başlatır.
- Yüklenen aynı dosya, son kullanıcı olmadan birden çok kez kullanılabilir uygulamanızda gerektiğinde (örneğin, yeni çok modlu istek).
Son kullanıcıların Google Apps'ta depolanan dosyalara erişimini Firebase Güvenlik Kuralları'nı kullanarak Cloud Storage for Firebase, Yalnızca yetkili bir kullanıcının dosya yüklemesine, indirmesine veya silmesine izin veren uygulamalar.
Paketinizdeki dosyalara Firebase'den veya Google Cloud'dan görüntü ve metin gibi sunucu tarafı işleme esnekliği kullanarak filtreleme veya video kodu dönüştürme işlemlerini yapabilirsiniz.
Hangi dosya ve URL türleri desteklenir?
Aşağıda, Firebase için Vertex AI SDK'ları ile Firebase için Cloud Storage URL'leri:
Dosya, Çok modlu istekler için giriş dosyası gereksinimleri Firebase için Vertex AI SDK'ları kullanırken Bu, şu gereksinimleri içerir: daha fazla yapılandırmaya sahip olabilir.
Dosya bir Firebase için Cloud Storage paketinde depolanmalıdır (Bu, paketin Firebase Güvenlik Kuralları gibi Firebase hizmetleri tarafından erişilebilir olduğu anlamına gelir). Paketinizi Firebase konsolu, bu bir Firebase için Cloud Storage paketidir.
Cloud Storage for Firebase paketi, şuradaki aynı Firebase projesinde olmalıdır: bu bilgileri kullanabilirsiniz.
Dosyanın Cloud Storage for Firebase URL'si,
gs://olangs://ile başlamalıdır. nasıl yapılandırıldığını gösterir.Dosyanın URL'si bir "tarayıcı" olamaz URL (örneğin, bir resmin URL'si) bir şeyler bulun).
Ayrıca, paketinize yönelik Firebase Güvenlik Kuralları dosyaya gerekli erişimi sağlar. Örneğin:
Herkese açık kurallarınız varsa ardından herhangi bir kullanıcı veya müşteri dosyaya erişebilir ve bir görüşmede dosyanın URL'sini sağlayabilir Firebase için Vertex AI SDK'sı kullanarak. Bu tür kurallar yalnızca başlarken kullanın (dosyalar gerçekten amaçlanmamışsa, olarak erişilebilir hale getirebilirsiniz.
Güçlü kurallarınız varsa (kesinlikle önerilir). Firebase, oturum açmış kullanıcının veya istemci, çağrının devam etmesine izin vermeden önce dosyaya yeterli erişime sahip olmalıdır. sağlanan URL ile girilmelidir.
Firebase için Vertex AI ile Firebase için Cloud Storage URL'lerini kullanma
1. Adım: Cloud Storage for Firebase'i kurun
Yapmanız gereken üst düzey görevler şunlardır:
Firebase projenizde Firebase için Cloud Storage paketi oluşturun.
Bu pakete Firebase Güvenlik Kuralları'nı uygulayın. Firebase güvenlik kuralları şu konularda size yardımcı olur: erişimini yetkili son kullanıcılarla kısıtlayarak dosyalarınızın güvenliğini sağlayabilirsiniz.
Firebase için Cloud Storage'ın istemci kitaplığını uygulamanıza ekleyin.
Bu görevi atlayabilirsiniz ancak bunu her zaman yapmanız gerekir Çok modlu isteklerinize MIME türünü ve Cloud Storage for Firebase URL değerlerini açık bir şekilde ekleyin.
2. Adım: Pakete dosya yükleyin
Pakete dosya yüklediğinizde Cloud Storage otomatik olarak uygulanır dosyaya ekleyin. Proje başlatma belgenizi bu değerleri çok modlu istekte (bunun bir sonraki adımında gösterildiği gibi) .
MIME türü: Bu, dosyanın medya türüdür (örneğin,
image/png). Firebase için Cloud Storage, MIME türünü otomatik olarak algılamaya çalışır ve bu meta verileri paketteki nesneye uygulayabilirsiniz. Ancak, isteğe bağlı olarak yükleme sırasında MIME türünü belirtebilirsiniz.Firebase için Cloud Storage URL'si: Bu, dosya için benzersiz bir tanımlayıcıdır. URL,
gs://ile başlamalıdır.
3. Adım: Dosyanın MIME türünü ve URL'sini çok modlu bir isteğe ekleyin
Cloud Storage for Firebase paketinde depolanan bir dosyanız olduğunda şunları yapabilirsiniz:
MIME türünü ve Firebase için Cloud Storage URL'sini çok modlu isteğe dahil etmelidir.
Bu örneklerde canlı olmayan generateContent isteği gösterilir ancak
akış ve sohbet ile Firebase için Cloud Storage URL'lerini de kullanabilir.
Dosyayı isteğe dahil etmek için aşağıdaki seçeneklerden birini kullanabilirsiniz:
1. Seçenek: MIME türünü ve URL'yi bir Storage referansı kullanarak dahil etme
2. Seçenek: MIME türünü ve URL'yi açık bir şekilde ekleyin
1. Seçenek: MIME türünü ve URL'yi depolama referansı kullanarak ekleme
Dosyayı pakete yeni yüklediyseniz ve dosyayı hemen çok modlu klasöre ekleyin (bir Storage referansıyla) isteği gönderin. Çağrı hem MIME türü hem de Cloud Storage for Firebase URL'si.
2. Seçenek: MIME türünü ve URL'yi açıkça ekleyin
MIME türü değerlerini biliyorsanız bu seçeneği kullanın Firebase için Cloud Storage URL'si ve bunları açık bir şekilde çok modlu istek. Çağrı hem MIME türünü hem de URL'yi gerektirir.