在 iOS 上使用机器学习套件来标记图片

利用机器学习套件,您可以使用设备端模型或云端模型来标记图片中识别出的对象。要了解每种方法的优势,请参阅概览

如需了解此 API 的实际应用示例,请查看 GitHub 上的机器学习套件快速入门示例

准备工作

  1. 如果您尚未将 Firebase 添加到自己的应用中,请按照入门指南中的步骤执行此操作。
  2. 在 Podfile 中添加机器学习套件库:
    pod 'Firebase/Core'
    pod 'Firebase/MLVision'

    # If using the on-device API: pod 'Firebase/MLVisionLabelModel'

    安装或更新项目的 Pod 之后,请务必使用 Xcode 项目的 .xcworkspace 来打开项目。
  3. 在您的应用中导入 Firebase:

    Swift

    import Firebase

    Objective-C

    @import Firebase;
  4. 如果您想使用云端模型,并且尚未将项目升级到 Blaze 方案,请在 Firebase 控制台中先升级。只有 Blaze 级项目才能使用 Cloud Vision API。
  5. 如果您想使用云端模型,还需启用 Cloud Vision API:
    1. 在 Cloud Console API 库中打开 Cloud Vision API
    2. 务必在页面顶部的菜单中选择您的 Firebase 项目。
    3. 如果该 API 尚未启用,请点击启用
    如果您只想使用设备端模型,则可以跳过此步骤。

现在,您就可以使用设备端模型或云端模型来标记图片了。


设备端图片标记

要使用设备端图片标记模型,请按照以下说明配置并运行图片标记器。

1. 配置图片标记器

默认情况下,设备端图片标记器只会返回置信度分数大于或等于 0.5 的标签。如果您想更改此设置,请按照以下示例创建一个 VisionLabelDetectorOptions 对象:

Swift

let options = VisionLabelDetectorOptions(
  confidenceThreshold: Constants.labelConfidenceThreshold
)

Objective-C

FIRVisionLabelDetectorOptions *options =
    [[FIRVisionLabelDetectorOptions alloc] initWithConfidenceThreshold:0.6f];

2. 运行图片标记器

要识别并标记图片中的实体,请将图片作为 UIImageCMSampleBufferRef 传递给 VisionLabelDetectordetect(in:) 方法:

  1. 获取 VisionLabelDetector 的一个实例:

    Swift

    lazy var vision = Vision.vision()
    let labelDetector = vision.labelDetector(options: options)
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionLabelDetector *labelDetector = [vision labelDetector];
    // Or, to change the default settings:
    // FIRVisionLabelDetector *labelDetector =
    //     [vision labelDetectorWithOptions:options];
    
  2. 使用 UIImageCMSampleBufferRef 创建一个 VisionImage 对象。

    要使用 UIImage,请按以下步骤操作:

    1. 在必要时旋转图片,以使其 imageOrientation 属性为 .up
    2. 使用方向正确的 UIImage 创建一个 VisionImage 对象。不要指定任何旋转元数据,必须使用默认值 .topLeft

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    要使用 CMSampleBufferRef,请按以下步骤操作:

    1. 创建一个 VisionImageMetadata 对象,用其指定 CMSampleBufferRef 缓冲区中所含图片数据的方向。

      例如,如果图片数据必须顺时针旋转 90 度后才是竖直状态:

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. 使用 CMSampleBufferRef 对象和旋转元数据创建一个 VisionImage 对象:

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. 然后,将图片传递给 detect(in:) 方法:

    Swift

    labelDetector.detect(in: visionImage) { features, error in
      guard error == nil, let features = features, !features.isEmpty else {
        // ...
        return
      }
    
      // ...
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionLabel.
    }];
    

3. 获取标记出的对象的相关信息

如果图片标记成功,则系统会向完成处理程序传递一组 VisionLabel 对象。您可以从各个对象中获取图片中所识别出的特征的相关信息。

例如:

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityID
  let confidence = label.confidence
}

Objective-C

for (FIRVisionLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityID;
  float confidence = label.confidence;
}

云端图片标记

要使用云端图片标记模型,请按照以下说明配置和运行图片标记器。

1. 配置图片标记器

默认情况下,Cloud 检测器使用稳定版模型并最多返回 10 个结果。如果您想更改这两项设置中的任一项,请按照以下示例使用 VisionCloudDetectorOptions 对象指定:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

FIRVisionCloudDetectorOptions *options =
    [[FIRVisionCloudDetectorOptions alloc] init];
options.modelType = FIRVisionCloudModelTypeLatest;
options.maxResults = 20;

在下一步中,在创建 Cloud 检测器对象时传递 VisionCloudDetectorOptions 对象。

2. 运行图片标记器

要识别并标记图片中的实体,请将图片作为 UIImageCMSampleBufferRef 传递给 VisionCloudLabelDetectordetect(in:) 方法:

  1. 获取 VisionCloudLabelDetector 的一个实例:

    Swift

    let labelDetector = vision.cloudLabelDetector()
    // Or, to change the default settings:
    // let labelDetector = Vision.vision().cloudLabelDetector(options: options)

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLabelDetector *labelDetector = [vision cloudLabelDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLabelDetector *labelDetector =
    //     [vision cloudLabelDetectorWithOptions:options];
    
  2. 使用 UIImageCMSampleBufferRef 创建一个 VisionImage 对象。

    要使用 UIImage,请按以下步骤操作:

    1. 在必要时旋转图片,以使其 imageOrientation 属性为 .up
    2. 使用方向正确的 UIImage 创建一个 VisionImage 对象。不要指定任何旋转元数据,必须使用默认值 .topLeft

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    要使用 CMSampleBufferRef,请按以下步骤操作:

    1. 创建一个 VisionImageMetadata 对象,用其指定 CMSampleBufferRef 缓冲区中所含图片数据的方向。

      例如,如果图片数据必须顺时针旋转 90 度后才是竖直状态:

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. 使用 CMSampleBufferRef 对象和旋转元数据创建一个 VisionImage 对象:

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. 然后,将图片传递给 detect(in:) 方法:

    Swift

      labelDetector.detect(in: visionImage) { labels, error in
        guard error == nil, let labels = labels, !labels.isEmpty else {
          // ...
          return
        }
    
        // Labeled image
        // START_EXCLUDE
        self.resultsText = labels.map { label -> String in
          "Label: \(String(describing: label.label ?? "")), " +
            "Confidence: \(label.confidence ?? 0), " +
          "EntityID: \(label.entityId ?? "")"
          }.joined(separator: "\n")
        self.showResults()
      }
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionCloudLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionCloudLabel.
    }];
    

3. 获取标记出的对象的相关信息

如果图片标记成功,则系统会向完成处理程序传递一组 VisionCloudLabel 对象。您可以从各个对象中获取图片中所识别出的实体的相关信息。

例如:

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityId
  let confidence = label.confidence
}

Objective-C

for (FIRVisionCloudLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityId;
  float confidence = [label.confidence floatValue];
}

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面