Çok modlu isteklere büyük dosyaları dahil edin ve dosyaları Firebase için Cloud Storage'ı kullanarak yönetin

Uygulamanızdan Gemini API çağrılırken Vertex AI in Firebase SDK'sında, Gemini modelini metin oluşturmasını isteyebilirsiniz. bir girişe göre değişir. Çok modlu istemler, birden fazla modalite içerebilir. (veya giriş türleri) kullanabilirsiniz.

Girişin metin olmayan kısımları (medya dosyaları gibi) için isteğe bağlı olarak İsteğe dosya eklemek için Cloud Storage for Firebase. Zaman: bu özellikle ilgili bilmeniz gerekenler şunlardır:

  • Cloud Storage for Firebase öğesini herhangi bir çok modlu istekle (ikisi de gibi) kullanabilirsiniz metin oluşturma ve sohbet). Şuradaki örnekler: Bu kılavuzda temel bir metin ve resim girişi gösterilmiştir.

  • Dosyanın MIME türünü ve Cloud Storage for Firebase URL'sini belirtirsiniz (her zaman gs:// ile başlar). Bu değerler, Cloud Storage klasörüne yüklenen tüm dosyalara otomatik olarak atanan meta veriler paket.

  • Desteklenen bir dosya türü ve URL kullanmanız gerekir.


Bu çözüm kılavuzunda, Cloud Storage for Firebase kurulumunun nasıl yapılacağı açıklanmaktadır. Google Cloud, uygulamanızdan Cloud Storage for Firebase paketine dosya yükleyin, ve sonra dosyanın MIME türünü ve Cloud Storage for Firebase URL'sini Gemini API için çok modlu istek.

Kod örneklerini görmek ister misiniz? Ya da daha önce Cloud Storage for Firebase ve bu hizmeti cihazınızla kullanmaya hazırsınız ne olacak?

Kod örneklerine geçin

Uygulamanızda Cloud Storage for Firebase neden kullanılmalı?

Cloud Storage for Firebase, mobil cihazlarda aynı hızlı, güvenli ve blob'ları ve dosyaları depolamak için Google Cloud Storage olarak ölçeklenebilir bir altyapı sunar. ve istemci SDK'ları özellikle mobil uygulamalar ve web uygulamaları için oluşturulmuştur.

Vertex AI in Firebase SDK'ları için maksimum istek boyutu 20 MB'tır. İstek çok büyükse HTTP 413 hatası alırsınız. Dosyanın boyutu toplam istek boyutunu 20 MB'yi aşan bir sayı yazın, ardından bir Çok modlu isteğinize dosyayı dahil etmek için Cloud Storage for Firebase URL'si. Bununla birlikte, dosya küçükse çoğu zaman doğrudan satır içi veri olarak aktarabilirsiniz (satır içi veri olarak sağlanan bir dosyanın, toplu taşımayı kullanır. Bu da isteğin boyutunu artırır).

Cloud Storage for Firebase kullanmanın diğer avantajlarından bazıları şunlardır:

  • Son kullanıcıların doğrudan uygulamanızdan bir panele resim yüklemesini Cloud Storage for Firebase veri paketi oluşturabilirsiniz, ardından bu resimleri dosyanın MIME türünü belirterek çok modlu istemlerinizi ve Cloud Storage for Firebase URL'si (dosya için tanımlayıcıdır).

  • Son kullanıcılarınıza zaman ve bant genişliği tasarrufu sağlayabilirsiniz. Görüntü ve bant genişliğine bağlı olarak özellikle de ağ kaliteleri zayıf veya kesintiliyse.

    • Dosya yükleme veya indirme işlemi kesintiye uğrarsa Cloud Storage for Firebase SDK'lar işlemi kaldığı yerden otomatik olarak yeniden başlatır.
    • Yüklenen aynı dosya, son kullanıcı olmadan birden çok kez kullanılabilir uygulamanızda gerektiğinde (örneğin, yeni çok modlu istek).

  • Son kullanıcıların Google Apps'ta depolanan dosyalara erişimini Firebase Security Rules kullanarak Cloud Storage for Firebase, Yalnızca yetkili bir kullanıcının dosya yüklemesine, indirmesine veya silmesine izin veren uygulamalar.

  • Paketinizdeki dosyalara Firebase'den veya Google Cloud üzerinden erişebilirsiniz. görüntü ve metin gibi sunucu tarafı işleme esnekliği Google Cloud Storage API'lerini kullanarak filtreleme veya video kodu dönüştürme.

Hangi dosya ve URL türleri desteklenir?

Aşağıda, Vertex AI in Firebase SDK içeren Cloud Storage for Firebase URL:

  • Dosya, Çok modlu istekler için giriş dosyası gereksinimleri (Vertex AI in Firebase SDK'larını kullanırken) Bu, şu gereksinimleri içerir: daha fazla yapılandırmaya sahip olabilir.

  • Dosya bir Cloud Storage for Firebase paketinde depolanmalıdır (yani Firebase Security Rules gibi Firebase hizmetleri bu pakete erişebilir). Paketinizi Firebase konsolu, Cloud Storage for Firebase paket olur.

  • Cloud Storage for Firebase paketi şu konumdaki aynı Firebase projesinde olmalıdır: bu bilgileri kullanabilirsiniz.

  • Dosyanın Cloud Storage for Firebase URL'si, gs:// ile başlamalıdır. şekilde oluşturulmalıdır.Google Cloud Storage

  • Dosyanın URL'si bir "tarayıcı" olamaz URL (örneğin, bir resmin URL'si) bir şeyler bulun).

Ayrıca, paketinizde Firebase Security Rules tarafından izin verilmelidir. dosyaya gerekli erişimi sağlar. Örneğin:

  • Herkese açık kurallarınız varsa ardından herhangi bir kullanıcı veya müşteri dosyaya erişebilir ve bir görüşmede dosyanın URL'sini sağlayabilir Vertex AI in Firebase SDK'sı kullanılıyor. Bu tür kurallar yalnızca başlarken kullanın (dosyalar gerçekten amaçlanmamışsa, olarak erişilebilir hale getirebilirsiniz.

  • Güçlü kurallarınız varsa (kesinlikle önerilir). Firebase, oturum açmış kullanıcının veya istemci, çağrının devam etmesine izin vermeden önce dosyaya yeterli erişime sahip olmalıdır. sağlanan URL ile girilmelidir.

Cloud Storage for Firebase URL'leri Vertex AI in Firebase ile kullan

1. Adım: Cloud Storage for Firebase ayarlarını yapın

Yapmanız gereken üst düzey görevler şunlardır:

  1. Firebase projenizde bir Cloud Storage for Firebase paketi oluşturun.

  2. Bu pakete Firebase Security Rules uygulayın. Firebase Security Rules size yardım ediyor erişimini yetkili son kullanıcılarla kısıtlayarak dosyalarınızın güvenliğini sağlayabilirsiniz.

  3. Cloud Storage for Firebase için istemci kitaplığını uygulamanıza ekleyin.

    Bu görevi atlayabilirsiniz ancak bunu her zaman yapmanız gerekir çok modlu isteklerinize MIME türünü ve Cloud Storage for Firebase URL değerlerini açık bir şekilde dahil edin.

2. Adım: Pakete dosya yükleyin

Pakete dosya yüklediğinizde Cloud Storage otomatik olarak uygulanır dosyaya ekleyin. Proje başlatma belgenizi bu değerleri çok modlu istekte (bunun bir sonraki adımında gösterildiği gibi) .

  • MIME türü: Bu, dosyanın medya türüdür (örneğin, image/png). Cloud Storage for Firebase, MIME türünü otomatik olarak algılamaya çalışır ve bu meta verileri paketteki nesneye uygulayabilirsiniz. Ancak, isteğe bağlı olarak yükleme sırasında MIME türünü belirtebilirsiniz.

  • Cloud Storage for Firebase URL'si: Dosya için benzersiz bir tanımlayıcıdır. URL, gs:// ile başlamalıdır.

3. Adım: Dosyanın MIME türünü ve URL'sini çok modlu bir isteğe ekleyin

Cloud Storage for Firebase paketinde depolanan bir dosyanız olduğunda şunları yapabilirsiniz: MIME türünü ve Cloud Storage for Firebase URL'sini çok modlu isteğe dahil etmesi gerekir. Bu örneklerde canlı olmayan generateContent isteği gösterilir ancak akış ve sohbet için Cloud Storage for Firebase URL'yi kullanabilir.

Dosyayı isteğe dahil etmek için aşağıdaki seçeneklerden birini kullanabilirsiniz:

1. Seçenek: MIME türünü ve URL'yi depolama referansı kullanarak ekleme

Dosyayı pakete yeni yüklediyseniz ve dosyayı hemen çok modlu klasöre ekleyin (bir Storage referansıyla) isteği gönderin. Çağrı hem MIME türü hem de Cloud Storage for Firebase URL'si.

2. Seçenek: MIME türünü ve URL'yi açıkça ekleyin

MIME türü değerlerini biliyorsanız bu seçeneği kullanın Cloud Storage for Firebase URL'si ve bunları açıkça çok modlu istek. Çağrı hem MIME türünü hem de URL'yi gerektirir.