Lorsque vous appelez Gemini API à partir de votre application à l'aide d'un SDK Vertex AI in Firebase, vous pouvez demander au modèle Gemini de générer du texte à partir d'une entrée multimodale. Les requêtes multimodales peuvent inclure plusieurs modalités (ou types d'entrées), telles que du texte, des images, des PDF, de la vidéo et de l'audio.
Pour les parties non textuelles de l'entrée (comme les fichiers multimédias), vous pouvez éventuellement utiliser Cloud Storage for Firebase afin d'inclure des fichiers dans la requête. Dans les grandes lignes, voici ce que vous devez savoir sur cette fonctionnalité:
Vous pouvez utiliser Cloud Storage for Firebase avec n'importe quelle requête multimodale (comme la génération de texte et le chat). Les exemples de ce guide montrent une entrée de texte et d'image de base.
Vous spécifiez le type MIME du fichier et son URL Cloud Storage for Firebase (qui commence toujours par
gs://) dans l'entrée de la requête. Ces valeurs sont des métadonnées automatiquement attribuées à tout fichier importé dans un bucket Cloud Storage.Vous devez utiliser un type de fichier et une URL compatibles.
Ce guide de solution explique comment configurer Cloud Storage for Firebase, importer un fichier dans un bucket Cloud Storage for Firebase à partir de votre application, puis inclure le type MIME et l'URL Cloud Storage for Firebase du fichier dans la requête multimodale envoyée à Gemini API.
Voulez-vous voir les exemples de code ? Ou avez-vous déjà configuré Cloud Storage for Firebase et êtes-vous prêt à l'utiliser avec vos requêtes multimodales ?
Pourquoi utiliser Cloud Storage for Firebase avec votre appli ?
Cloud Storage for Firebase utilise la même infrastructure rapide, sécurisée et évolutive que Google Cloud Storage pour stocker des blobs et des fichiers, et ses SDK clients sont spécialement conçus pour les applications mobiles et Web.
Pour les SDK Vertex AI in Firebase, la taille maximale des requêtes est de 20 Mo. Vous obtenez une erreur HTTP 413 si une requête est trop volumineuse. Si la taille d'un fichier fait que la taille totale de la requête dépasse 20 Mo, utilisez une URL Cloud Storage for Firebase pour inclure le fichier dans votre requête multimodale. Toutefois, si un fichier est petit, vous pouvez souvent le transmettre directement en tant que données intégrées (notez toutefois qu'un fichier fourni sous forme de données intégrées est encodé en base64 en transit, ce qui augmente la taille de la requête).
Voici quelques autres avantages de l'utilisation de Cloud Storage for Firebase :
Vous pouvez demander aux utilisateurs finaux d'importer des images directement depuis votre application dans un bucket Cloud Storage for Firebase, puis d'inclure ces images dans vos requêtes multimodales simplement en spécifiant le type MIME du fichier et l'URL Cloud Storage for Firebase (qui est un identifiant du fichier).
Vous pouvez économiser du temps et de la bande passante pour vos utilisateurs finaux s'ils doivent fournir des images, en particulier si la qualité de leur réseau est mauvaise ou instable.
- Si l'importation ou le téléchargement d'un fichier est interrompu, les SDK Cloud Storage for Firebase relancent automatiquement l'opération là où elle s'était arrêtée.
- Le même fichier importé peut être utilisé plusieurs fois sans que l'utilisateur final ait à importer le même fichier chaque fois qu'il est nécessaire dans votre application (comme dans une nouvelle requête multimodale).
Vous pouvez restreindre l'accès des utilisateurs finaux aux fichiers stockés dans Cloud Storage for Firebase à l'aide de Firebase Security Rules, qui permet uniquement à un utilisateur autorisé d'importer, de télécharger ou de supprimer des fichiers.
Vous pouvez accéder aux fichiers de votre bucket à partir de Firebase ou de Google Cloud, ce qui vous permet d'effectuer un traitement côté serveur tel que le filtrage d'images ou le transcodage vidéo à l'aide des API Google Cloud Storage.
Quels types de fichiers et d'URL sont acceptés ?
Voici les exigences concernant les fichiers et les URL lorsque vous souhaitez utiliser des URL Cloud Storage for Firebase avec les SDK Vertex AI in Firebase:
Le fichier doit respecter les exigences des fichiers d'entrée pour les requêtes multimodales lorsque vous utilisez les SDK Vertex AI in Firebase. Cela inclut des exigences telles que le type MIME et la taille de fichier.
Le fichier doit être stocké dans un bucket Cloud Storage for Firebase (ce qui signifie que le bucket est accessible aux services Firebase, tels que Firebase Security Rules). Si vous pouvez afficher votre bucket dans la console Firebase, il s'agit d'un bucket Cloud Storage for Firebase.
Le bucket Cloud Storage for Firebase doit se trouver dans le même projet Firebase que celui dans lequel vous avez enregistré votre application.
L'URL Cloud Storage for Firebase du fichier doit commencer par
gs://, ce qui est la façon dont toutes les URL Google Cloud Storage sont construites.L'URL du fichier ne peut pas être une URL de "navigateur" (par exemple, l'URL d'une image que vous trouvez sur Internet).
En outre, le Firebase Security Rules de votre bucket doit autoriser un accès approprié au fichier. Exemple :
Si vous avez des règles publiques, n'importe quel utilisateur ou client peut accéder au fichier et fournir son URL dans un appel à l'aide d'un SDK Vertex AI in Firebase. Ces types de règles ne doivent être utilisés que pour démarrer et au début du prototypage (sauf si les fichiers sont en fait destinés à être entièrement accessibles au public).
Si vous disposez de règles strictes (vivement recommandé), Firebase vérifie que l'utilisateur ou le client connecté dispose d'un accès suffisant au fichier avant d'autoriser l'appel à passer avec l'URL fournie.
Utiliser des URL Cloud Storage for Firebase avec Vertex AI in Firebase
Étape 1: Configurez Cloud Storage for Firebase
Voici les tâches générales que vous devrez effectuer :
Créez un bucket Cloud Storage for Firebase dans votre projet Firebase.
Appliquez Firebase Security Rules à ce bucket. Firebase Security Rules vous aide à sécuriser vos fichiers en limitant l'accès aux utilisateurs finaux autorisés.
Ajoutez la bibliothèque cliente de Cloud Storage for Firebase à votre application.
Notez que vous pouvez ignorer cette tâche, mais vous devez toujours inclure explicitement le type MIME et les valeurs d'URL Cloud Storage for Firebase dans vos requêtes multimodales.
Étape 2 : Importez un fichier dans un bucket
Lorsque vous importez un fichier dans un bucket, Cloud Storage applique automatiquement les deux informations suivantes au fichier. Vous devez inclure ces valeurs dans la requête multimodale (comme indiqué à l'étape suivante de ce guide).
Type MIME: il s'agit du type de contenu du fichier (par exemple,
image/png). Cloud Storage for Firebase tente automatiquement de détecter le type MIME lors de l'importation et d'appliquer ces métadonnées à l'objet du bucket. Toutefois, vous pouvez éventuellement spécifier le type MIME lors de l'importation.Cloud Storage for Firebase URL: il s'agit de l'identifiant unique du fichier. L'URL doit commencer par
gs://.
Étape 3 : Incluez le type MIME et l'URL du fichier dans une requête multimodale
Une fois qu'un fichier est stocké dans un bucket Cloud Storage for Firebase, vous pouvez inclure son type MIME et son URL Cloud Storage for Firebase dans une requête multimodale.
Notez que ces exemples montrent une requête generateContent non diffusée en streaming, mais vous pouvez également utiliser des URL Cloud Storage for Firebase avec les fonctionnalités de streaming et de chat.
Pour inclure le fichier dans la requête, vous pouvez utiliser l'une des options suivantes :
Option 1 : Inclure le type MIME et l'URL à l'aide d'une référence Storage
Utilisez cette option si vous venez d'importer le fichier dans le bucket et que vous souhaitez l'inclure immédiatement (via une référence Storage) dans la requête multimodale. L'appel nécessite à la fois le type MIME et l'URL Cloud Storage for Firebase.
Option 2: Inclure explicitement le type MIME et l'URL
Utilisez cette option si vous connaissez les valeurs du type MIME et de l'URL Cloud Storage for Firebase, et si vous souhaitez les inclure explicitement dans la requête multimodale. Le type MIME et l'URL sont requis pour l'appel.