Entraîner un modèle d'étiquetage d'image avec AutoML Vision Edge

Pour entraîner un modèle d'étiquetage d'image, vous devez fournir à AutoML Vision Edge un ensemble de des images et des étiquettes correspondantes. AutoML Vision Edge utilise cet ensemble de données pour entraîner dans le cloud, que vous pouvez utiliser pour l'étiquetage d'image sur l'appareil l'application. (Consultez la Présentation pour obtenir des informations générales sur cette fonctionnalité.)

AutoML Vision Edge est un service Google Cloud. L'utilisation du service est soumise aux Contrat de licence Google Cloud Platform et les Conditions spécifiques aux services, et facturé en conséquence. Pour en savoir plus sur la facturation, consultez la page Tarifs d'AutoML.

Avant de commencer

1. Assembler vos données d'entraînement

Tout d'abord, vous devez créer un ensemble de données d'entraînement d'images libellées. Tenez compte des consignes suivantes :

  • Les images doivent être au format JPEG, PNG, GIF, BMP ou ICO.

  • Chaque image doit être inférieure ou égale à 30 Mo. Notez qu'AutoML Vision Edge effectue un scaling à la baisse la plupart des images pendant le prétraitement. Il n'y a donc généralement aucun avantage en termes de précision qui fournit des images en très haute résolution.

  • Incluez au moins 10 exemples, et de préférence 100 ou plus, pour chaque étiquette.

  • Incluez plusieurs angles, résolutions et arrière-plans pour chaque étiquette.

  • Les données d'entraînement doivent être aussi proches que possible des données sur lesquelles les prédictions sont fondées. Par exemple, si votre cas pratique implique des images floues en basse résolution (comme celles d'une caméra de sécurité), vos données d'entraînement doivent être composées d'images floues à basse résolution.

  • Les modèles générés par AutoML Vision Edge sont optimisés pour les photographies d'objets dans le monde réel. Ils risquent de ne pas être adaptés aux rayons X, aux dessins à la main, des documents scannés, des reçus, etc.

    De plus, les modèles ne sont généralement pas capables de prédire les étiquettes qu'un humain ne saurait pas attribuer. Ainsi, si un humain ne peut pas attribuer d'étiquettes en regardant l'image pendant 1 à 2 secondes, le modèle ne pourra probablement pas être entraîné à le faire non plus.

Lorsque vos images d'entraînement sont prêtes, préparez-les pour les importer dans Firebase. Vous avez trois possibilités :

Option 1: Archive ZIP structurée

Organisez vos images d'entraînement dans des répertoires, chacun nommé d'après un libellé et contenant des images qui sont des exemples de ce libellé. Ensuite, compressez la structure de répertoires dans une archive ZIP.

Les noms de répertoires de cette archive ZIP peuvent comporter jusqu'à 32 caractères ASCII et ne peuvent contenir que des caractères alphanumériques et le trait de soulignement (_).

Exemple :

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

Option 2 : Cloud Storage avec index CSV

Importez vos images d'entraînement dans Google Cloud Storage et préparez un fichier CSV listant l'URL de chaque image et, éventuellement, les libellés appropriés pour chaque image. Cette option est utile si vous utilisez des ensembles de données.

Par exemple, importez vos images dans Cloud Storage et préparez un fichier CSV comme suit :

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

Les images doivent être stockées dans un bucket faisant partie du bucket projet Google Cloud correspondant.

Pour en savoir plus sur la préparation du fichier CSV, consultez la section Préparer les données d'entraînement dans la documentation de Cloud AutoML Vision.

Option 3 : Images sans libellé

Étiquetez vos images d'entraînement dans la console Firebase après les avoir importées. individuellement ou dans un fichier ZIP non structuré. Reportez-vous à l'étape suivante.

2. Entraîner le modèle

Ensuite, entraînez un modèle à l'aide de vos images:

  1. Ouvrez la page Vision Datasets (Ensembles de données Vision) dans la console Google Cloud. Sélectionnez votre projet lorsque vous y êtes invité.

  2. Cliquez sur Nouvel ensemble de données, indiquez un nom pour l'ensemble de données, puis sélectionnez le type le modèle que vous souhaitez entraîner, puis cliquez sur Créer un ensemble de données.

  3. Dans l'onglet Import (Importer) de votre ensemble de données, importez une archive ZIP de votre des images d'entraînement ou un fichier CSV contenant les emplacements Cloud Storage que vous dans lequel vous les avez importés. Consultez Assembler vos données d'entraînement.

  4. Une fois la tâche d'importation terminée, utilisez l'onglet Images pour vérifier données d'entraînement et étiquetez les images non étiquetées.

  5. Dans l'onglet Entraînement, cliquez sur Démarrer l'entraînement.

    1. Attribuez un nom au modèle et sélectionnez le type de modèle Edge.

    2. Configurez les paramètres d'entraînement suivants, qui régissent les performances du modèle généré :

      Optimiser le modèle pour : Configuration du modèle à utiliser. Vous pouvez entraîner des modèles plus rapides et plus petits lorsque la faible latence ou la petite taille de paquet sont importantes, ou des modèles plus lents et plus volumineux lorsque la précision est la plus importante.
      Budget par nœud-heure

      Durée maximale (en heures de calcul) à consacrer à l'entraînement du modèle. Plus la durée d'entraînement est longue, plus l'apprentissage du modèle.

      Notez que l'entraînement peut être effectué en moins de si le système détermine que le modèle est optimisé un entraînement supplémentaire n'améliorerait pas la précision. Vous êtes facturé uniquement pour les heures réellement utilisées.

      Durée d'entraînement typique
      Très petits ensembles1 heure
      500 images2 heures
      1 000 images3 heures
      5 000 images6 heures
      10 000 images7 heures
      50 000 images11 heures
      100 000 images13 heures
      1 000 000 images18 heures

3. Évaluez le modèle :

Une fois l'entraînement terminé, vous pouvez cliquer sur l'onglet Évaluer pour afficher les métriques de performances du modèle.

L'une des principales utilisations de cette page est de déterminer le seuil de confiance qui fonctionne les mieux adaptés à votre modèle. Le seuil de confiance représente le niveau de confiance minimum requis pour que le modèle attribue un libellé à une image. Vous pouvez déplacer le curseur du seuil de confiance pour voir l'effet des différents seuils sur les performances du modèle. Les performances du modèle sont mesurées à l'aide de deux métriques : la précision et le rappel.

Dans le contexte de la classification d'images, la précision correspond au ratio entre le nombre d'images correctement étiquetées par rapport au nombre d'images étiquetées par le modèle selon le seuil sélectionné. Lorsqu'un modèle présente une précision élevée, il attribue les étiquettes incorrectement moins souvent (moins de faux positifs).

Le rappel correspond au rapport entre le nombre d'images correctement libellées et le nombre d'images dont le contenu aurait dû être libellé par le modèle. Lorsqu'un modèle présente un taux de rappel élevé, il n'attribue aucune étiquette moins souvent (moins de faux négatifs).

Votre cas d'utilisation déterminera si vous devez optimiser pour la précision ou le rappel. Voir le cours AutoML Vision pour débutants guide et Guide sur l'inclusion dans le ML – AutoML pour plus d'informations.

Lorsque vous trouvez un seuil de confiance qui produit des métriques qui vous conviennent, notez-le. Vous utiliserez ce seuil de confiance pour configurer le modèle dans votre application. (Vous pouvez utiliser cet outil à tout moment pour obtenir une valeur de seuil appropriée.)

4. Publier ou télécharger votre modèle

Si vous êtes satisfait des performances du modèle et que vous souhaitez l'utiliser dans une application, vous avez trois options, parmi lesquelles vous pouvez choisir n'importe quelle combinaison : déployer le modèle pour la prédiction en ligne, publier le modèle dans Firebase ou télécharger le modèle et le regrouper avec votre application.

Déployer le modèle

Dans la section Test et utiliser, vous pouvez le déployer en ligne qui exécute votre modèle dans le cloud. Cette option est décrite dans la documentation Cloud AutoML. Les documents de ce site traitent des deux options restantes.

Publier le modèle

En publiant le modèle dans Firebase, vous pouvez le mettre à jour sans publier de nouvelle version de l'application. Vous pouvez également utiliser Remote Config et A/B Testing pour diffuser dynamiquement différents modèles à différents ensembles d'utilisateurs.

Si vous choisissez de ne fournir le modèle qu'en l'hébergeant avec Firebase et de ne pas le regrouper avec votre application, vous pouvez réduire la taille de téléchargement initiale de votre application. Gardez à l'esprit, cependant, que si le modèle n'est pas regroupé avec votre application, aucune fonctionnalité liée au modèle ne sera disponible tant que votre application ne l'aura pas téléchargé pour la première fois.

Pour publier votre modèle, vous pouvez utiliser l'une des deux méthodes suivantes:

  • Téléchargez le modèle TF Lite à partir de la page Test et utilisation de votre ensemble de données dans la console Google Cloud, puis importez-le sur la page Modèle personnalisé de la console Firebase. Il s'agit généralement du moyen le plus simple de publier un seul modèle.
  • Publiez le modèle directement depuis votre projet Google Cloud sur Firebase à l'aide du SDK Admin. Cette méthode vous permet de publier plusieurs modèles par lot et aident à créer des pipelines de publication automatisés.

Pour publier le modèle avec l'API de gestion des modèles du SDK Admin :

  1. Installez et initialisez le SDK.

  2. Publiez le modèle.

    Vous devez spécifier l'identifiant de ressource du modèle, qui est une chaîne semblable à l'exemple suivant :

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER Numéro de projet du bucket Cloud Storage contenant le du modèle. Il peut s'agir de votre projet Firebase ou d'un autre Google Cloud projet. Vous trouverez cette valeur sur la page "Paramètres" de la console Firebase ou dans le tableau de bord de la console Google Cloud.
    MODEL_ID L'ID du modèle, obtenu auprès de l'API AutoML Cloud.

    Python

    # First, import and initialize the SDK.
    
    # Get a reference to the AutoML model
    source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
        # See above for information on these values.
        project_number,
        model_id
    ))
    
    # Create the model object
    tflite_format = ml.TFLiteFormat(model_source=source)
    model = ml.Model(
        display_name="example_model",  # This is the name you will use from your app to load the model.
        tags=["examples"],             # Optional tags for easier management.
        model_format=tflite_format)
    
    # Add the model to your Firebase project and publish it
    new_model = ml.create_model(model)
    new_model.wait_for_unlocked()
    ml.publish_model(new_model.model_id)
    

    Node.js

    // First, import and initialize the SDK.
    
    (async () => {
      // Get a reference to the AutoML model. See above for information on these
      // values.
      const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;
    
      // Create the model object and add the model to your Firebase project.
      const model = await ml.createModel({
        displayName: 'example_model',  // This is the name you use from your app to load the model.
        tags: ['examples'],  // Optional tags for easier management.
        tfliteModel: { automlModel: automlModel },
      });
    
      // Wait for the model to be ready.
      await model.waitForUnlocked();
    
      // Publish the model.
      await ml.publishModel(model.modelId);
    
      process.exit();
    })().catch(console.error);
    

Télécharger et lier le modèle à votre application

En regroupant votre modèle avec votre application, vous pouvez vous assurer que les fonctionnalités ML de votre application fonctionnent toujours lorsque le modèle hébergé par Firebase n'est pas disponible.

Si vous publiez le modèle et l'associez à votre application, celle-ci utilisera l'API la dernière version disponible.

Pour télécharger votre modèle, cliquez sur TF Lite dans la section Test et utiliser.

Étapes suivantes

Maintenant que vous avez publié ou téléchargé le modèle, apprenez à l'utiliser sur votre appareil iOS+ et Applications Android.