Étiqueter des images avec ML Kit sur iOS

Cette page décrit une ancienne version de Image Labeling API, qui faisait partie de ML Kit for Firebase. Les fonctionnalités de cette API ont été réparties dans deux nouvelles API (en savoir plus) :

• Sur l'appareil image labeling fait partie du nouveau SDK ML Kit autonome, que vous pouvez utiliser avec sans Firebase.
• Cloud image labeling fait partie de Firebase ML, qui inclut toutes les fonctionnalités de ML cloud de Firebase.

Vous pouvez utiliser ML Kit pour étiqueter les objets reconnus dans une image, en utilisant : un modèle sur l'appareil ou un modèle cloud. Consultez la présentation pour découvrir les avantages de chaque approche.

L'utilisation de ML Kit pour accéder aux fonctionnalités de Cloud ML est soumise aux Licence Google Cloud Platform Contrat et Service Conditions d'utilisation spécifiques et facturées en conséquence. Pour en savoir plus sur la facturation, consultez les la page Tarification de Firebase.

Avant de commencer

1. Si vous n'avez pas encore ajouté Firebase à votre application, suivez les les étapes décrites dans le guide de démarrage.
2. Incluez les bibliothèques ML Kit dans votre Podfile:

   pod 'Firebase/MLVision', '6.25.0'
   
   
   # If using the on-device API:
   pod 'Firebase/MLVisionLabelModel', '6.25.0'
   

   Après avoir installé ou mis à jour les pods de votre projet, ouvrez votre Xcode projet à l'aide de son .xcworkspace.
3. Dans votre application, importez Firebase:

   Swift

   import Firebase

   Objective-C

   @import Firebase;

4. Si vous souhaitez utiliser le modèle basé dans le cloud et que vous n'avez pas encore activé les API dans le cloud pour votre projet, faites-le maintenant:

   1. Ouvrez le ML Kit page des API de la console Firebase.

   2. Si vous n'avez pas encore fait passer votre projet à un forfait Blaze, cliquez sur Pour ce faire, effectuez une mise à niveau. (Vous ne serez invité à effectuer la mise à niveau projet n'est pas inclus dans la formule Blaze.)

      Seuls les projets de niveau Blaze peuvent utiliser des API dans le cloud.

   3. Si les API dans le cloud ne sont pas déjà activées, cliquez sur Activer les services API.
   Avant de déployer en production une application qui utilise une API Cloud, vous devez effectuer quelques mesures supplémentaires pour prévenir et atténuer l'effet d'un accès non autorisé à l'API.

   Si vous souhaitez utiliser uniquement le modèle intégré à l'appareil, vous pouvez ignorer cette étape.

Vous êtes maintenant prêt à étiqueter des images à l'aide d'un modèle sur l'appareil ou d'un dans le cloud.

1. Préparer l'image d'entrée

Créez un objet VisionImage à l'aide d'un UIImage ou d'un CMSampleBufferRef

Pour utiliser un UIImage:

1. Si nécessaire, faites pivoter l'image pour que sa propriété imageOrientation soit .up.
2. Créez un objet VisionImage à l'aide de l'UIImage correctement orienté. Ne spécifiez aucune métadonnées de rotation. La valeur par défaut, .topLeft, doit être utilisée.

   Swift

   let image = VisionImage(image: uiImage)

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

Pour utiliser un CMSampleBufferRef:

1. Créez un objet VisionImageMetadata qui spécifie l'orientation des données d'image contenues dans le tampon CMSampleBufferRef.

   Pour obtenir l'orientation de l'image:

   Swift

   func imageOrientation(
       deviceOrientation: UIDeviceOrientation,
       cameraPosition: AVCaptureDevice.Position
       ) -> VisionDetectorImageOrientation {
       switch deviceOrientation {
       case .portrait:
           return cameraPosition == .front ? .leftTop : .rightTop
       case .landscapeLeft:
           return cameraPosition == .front ? .bottomLeft : .topLeft
       case .portraitUpsideDown:
           return cameraPosition == .front ? .rightBottom : .leftBottom
       case .landscapeRight:
           return cameraPosition == .front ? .topRight : .bottomRight
       case .faceDown, .faceUp, .unknown:
           return .leftTop
       }
   }

   Objective-C

   - (FIRVisionDetectorImageOrientation)
       imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                              cameraPosition:(AVCaptureDevicePosition)cameraPosition {
     switch (deviceOrientation) {
       case UIDeviceOrientationPortrait:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationLeftTop;
         } else {
           return FIRVisionDetectorImageOrientationRightTop;
         }
       case UIDeviceOrientationLandscapeLeft:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationBottomLeft;
         } else {
           return FIRVisionDetectorImageOrientationTopLeft;
         }
       case UIDeviceOrientationPortraitUpsideDown:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationRightBottom;
         } else {
           return FIRVisionDetectorImageOrientationLeftBottom;
         }
       case UIDeviceOrientationLandscapeRight:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationTopRight;
         } else {
           return FIRVisionDetectorImageOrientationBottomRight;
         }
       default:
         return FIRVisionDetectorImageOrientationTopLeft;
     }
   }

   Ensuite, créez l'objet de métadonnées:

   Swift

   let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
   let metadata = VisionImageMetadata()
   metadata.orientation = imageOrientation(
       deviceOrientation: UIDevice.current.orientation,
       cameraPosition: cameraPosition
   )

   Objective-C

   FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
   AVCaptureDevicePosition cameraPosition =
       AVCaptureDevicePositionBack;  // Set to the capture device you used.
   metadata.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

2. Créez un objet VisionImage à l'aide de la méthode CMSampleBufferRef et les métadonnées de rotation:

   Swift

   let image = VisionImage(buffer: sampleBuffer)
   image.metadata = metadata

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
   image.metadata = metadata;

2. Configurer et exécuter l'étiqueteur d'images

Pour étiqueter des objets dans une image, transmettez l'objet VisionImage à la La méthode processImage() de VisionImageLabeler.

1. Commencez par obtenir une instance de VisionImageLabeler.

   Si vous souhaitez utiliser l'étiqueteur d'images sur l'appareil:

   Swift

   let labeler = Vision.vision().onDeviceImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionOnDeviceImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().onDeviceImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] onDeviceImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionOnDeviceImageLabelerOptions *options =
   //         [[FIRVisionOnDeviceImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] onDeviceImageLabelerWithOptions:options];
   

   Si vous souhaitez utiliser l'étiqueteur d'images cloud:

   Swift

   let labeler = Vision.vision().cloudImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionCloudImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().cloudImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionCloudImageLabelerOptions *options =
   //         [[FIRVisionCloudImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] cloudImageLabelerWithOptions:options];
   

2. Transmettez ensuite l'image à la méthode processImage():

   Swift

   labeler.process(image) { labels, error in
       guard error == nil, let labels = labels else { return }
   
       // Task succeeded.
       // ...
   }
   

   Objective-C

   [labeler processImage:image
              completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                           NSError *_Nullable error) {
                  if (error != nil) { return; }
   
                  // Task succeeded.
                  // ...
              }];
   

3. Obtenir des informations sur les objets étiquetés

Si l'ajout d'étiquettes à l'image réussit, un tableau de VisionImageLabel sont transmis au gestionnaire d'achèvement. À partir de chaque objet, vous pouvez obtenir des informations sur une caractéristique reconnue dans l'image.

Exemple :

Swift

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

Conseils pour améliorer les performances en temps réel

Si vous souhaitez ajouter des libellés aux images dans une application en temps réel, suivez ces consignes pour obtenir les meilleurs fréquences d'images :

• Limitez les appels à l'étiqueteur d'images. Si une nouvelle image vidéo devient disponible pendant que l'étiqueteur d'images est en cours d'exécution, déposez le cadre.
• Si vous utilisez la sortie de l'étiqueteur d'images pour superposer des images l'image d'entrée, récupérez d'abord le résultat à partir de ML Kit, puis effectuez le rendu de l'image. et les superposer en une seule étape. Cela vous permet d'afficher sur la surface d'affichage une seule fois pour chaque trame d'entrée. Consultez la vue previewOverlayView. et FIRDetectionOverlayView dans l'application exemple Showcase.

Étapes suivantes

• Avant de déployer en production une application qui utilise une API Cloud, vous devez effectuer quelques mesures supplémentaires pour prévenir et atténuer l'effet d'un accès non autorisé à l'API.