Les SDK Vertex AI in Firebase vous donnent accès aux modèles Imagen 3 (via Imagen API) afin que vous puissiez générer des images à partir d'une requête textuelle. Grâce à cette fonctionnalité, vous pouvez effectuer les actions suivantes:
- Générer des images à partir de requêtes rédigées en langage naturel
- Générer des images dans un large éventail de formats et de styles
- Afficher du texte dans des images
Notez que Vertex AI in Firebase n'est pas encore compatible avec toutes les fonctionnalités disponibles pour les modèles Imagen. Pour en savoir plus, consultez la section Fonctionnalités et fonctionnalités compatibles plus loin sur cette page.
Accéder au code pour la saisie de texte uniquement
Avant de commencer
Si vous ne l'avez pas déjà fait, suivez le guide de démarrage. Cela inclut la configuration de votre projet Firebase, la connexion de votre application à Firebase, l'ajout du SDK et l'initialisation du service Vertex AI. Il s'agit de tâches obligatoires avant de pouvoir envoyer une requête d'invite à un modèle Imagen à l'aide des SDK Vertex AI in Firebase.
Notez que pour générer des images à l'aide de modèles Imagen:
Assurez-vous d'utiliser au moins les versions suivantes de la bibliothèque Firebase:
iOS+: v11.9.1+ | Android: v16.2.0+ (BoM: v33.10.0+) | Web: v11.4.1+ | Flutter: v1.4.0+ (BoM: v3.8.0+)Initialiser un
ImagenModel(pas unGenerativeModel)Envoyez votre requête dans un appel à
generateImages()(pas àgenerateContent()ougenerateContentStream()).
Cette initialisation d'un ImagenModel et l'utilisation de generateImages() sont illustrées dans les exemples de cette page.
Modèles compatibles avec cette fonctionnalité
La génération d'images est compatible avec les modèles Imagen 3. La génération d'images à l'aide de modèles Gemini 2.0 sera bientôt disponible.
Générer des images à partir d'une saisie textuelle uniquement
Vous pouvez demander à un modèle Imagen de générer des images en lui fournissant une requête textuelle. Vous pouvez générer une image ou plusieurs.
Générer une image à partir d'une entrée textuelle
Assurez-vous d'avoir terminé la section Avant de commencer de ce guide avant d'essayer cet exemple.
Vous pouvez demander à un modèle Imagen de générer une seule image en lui fournissant une requête textuelle.
Découvrez comment choisir un modèle et éventuellement un emplacement adapté à votre cas d'utilisation et à votre application.
Générer plusieurs images à partir d'une entrée textuelle
Assurez-vous d'avoir terminé la section Avant de commencer de ce guide avant d'essayer cet exemple.
Par défaut, les modèles Imagen 3 ne génèrent qu'une seule image par requête.
Toutefois, vous pouvez demander à un modèle Imagen de générer plusieurs images par requête en fournissant un generationConfig lors de l'initialisation du modèle.
Découvrez comment choisir un modèle et éventuellement un emplacement adapté à votre cas d'utilisation et à votre application.
Fonctionnalités et exigences compatibles
Les modèles Imagen 3 offrent de nombreuses fonctionnalités liées à la génération d'images. Cette section décrit ce qui est accepté lorsque vous utilisez les modèles avec Vertex AI in Firebase.
Fonctionnalités et fonctionnalités compatibles
Vertex AI in Firebase est compatible avec ces fonctionnalités des modèles Imagen 3.
Générer des personnes et des visages (étant donné que votre projet Firebase a été approuvé par Google Cloud)
Générer du texte dans des images générées
Ajouter un filigrane aux images générées
Configurer les paramètres de génération d'images, comme le nombre d'images générées, le format et le filigrane
Configurer les paramètres de sécurité
Vertex AI in Firebase n'est pas compatible avec ces fonctionnalités avancées des modèles Imagen 3.
Notez que la plupart de ces fonctionnalités nécessitent de figurer sur une liste d'utilisateurs approuvés, même lorsque vous utilisez des modèles Imagen côté serveur.
Fonctionnalités de modification ou de manipulation d'images, y compris l'agrandissement d'images
Inclure des images dans la requête envoyée au modèle (comme pour l'apprentissage few-shot)
Vérifier les filigranes numériques à l'aide des SDK
Si vous souhaitez vérifier qu'une image comporte un filigrane, vous pouvez l'importer dans Vertex AI Studio à l'aide de l'onglet Multimédia.Générer des images en direct à partir de texte (génération de fichiers MP4)
Générer des images à l'aide d'un style prédéfini
Activation de
includeSafetyAttributes, ce qui signifie quesafetyAttributes.categoriesetsafetyAttributes.scoresne peuvent pas être renvoyésDésactivation de l'amélioration de l'invite (paramètre
enhancePrompt), ce qui signifie qu'un outil de réécriture d'invite basé sur un LLM ajoutera toujours automatiquement plus de détails à l'invite fournie pour fournir des images de meilleure qualité qui reflètent mieux l'invite fournieÉcrire une image générée directement dans Google Cloud Storage dans le cadre de la réponse du modèle (paramètre
storageUri). Au lieu de cela, les images sont toujours renvoyées sous forme d'octets d'image encodés en base64 dans la réponse.
Si vous souhaitez importer une image générée dans Cloud Storage, vous pouvez utiliser Cloud Storage for Firebase.
Spécifications et limites
| Limites (par requête) | Imagen 3 | Imagen 3 Fast |
|---|---|---|
| Nombre maximal de jetons d'entrée | 480 jetons | 480 jetons |
| Nombre maximal d'images de sortie | 4 images | 4 images |
| Résolutions d'image de sortie compatibles (pixels) |
|
|
Que pouvez-vous faire d'autre ?
- Commencez à penser à la préparation de la production, y compris à la configuration de Firebase App Check pour protéger les API que vous utilisez dans votre application contre toute utilisation abusive par des clients non autorisés. Veillez également à consulter la checklist de production.
Découvrez comment contrôler la génération de contenu.
- Comprendre la conception des requêtes, y compris les bonnes pratiques, les stratégies et les exemples de requêtes.
- Configurez les paramètres du modèle Imagen, tels que le format, la génération de personnes et le filigranage.
- Utilisez les paramètres de sécurité pour ajuster la probabilité d'obtenir des réponses pouvant être considérées comme nuisibles.
En savoir plus sur les modèles compatibles
Découvrez les modèles disponibles pour différents cas d'utilisation, ainsi que leurs quotas et leurs tarifs.Envoyer des commentaires sur votre expérience avec Vertex AI in Firebase