了解 2023 年 Google I/O 大会上介绍的 Firebase 亮点。了解详情

本頁面由 Cloud Translation API 翻譯而成。

Switch to English

在 iOS 上使用 ML Kit 標記圖像

您可以使用 ML Kit 標記圖像中識別的對象，使用設備上的模型或云模型。請參閱概述以了解每種方法的好處。

在你開始之前

如果您尚未將 Firebase 添加到您的應用，請按照入門指南中的步驟進行操作。
在您的 Podfile 中包含 ML Kit 庫：
```
pod 'Firebase/MLVision', '6.25.0'

# If using the on-device API:
pod 'Firebase/MLVisionLabelModel', '6.25.0'
```
安裝或更新項目的 Pod 後，請務必使用其.xcworkspace打開您的 Xcode 項目。
在您的應用中，導入 Firebase：
迅速
```
import Firebase
```
Objective-C
```
@import Firebase;
```
如果您想使用基於雲的模型，並且尚未為您的項目啟用基於雲的 API，請立即執行此操作：
1. 打開 Firebase 控制台的ML Kit API 頁面。
2. 如果您尚未將項目升級到 Blaze 定價計劃，請單擊升級以執行此操作。（僅當您的項目不在 Blaze 計劃中時，系統才會提示您升級。）
  只有 Blaze 級項目可以使用基於雲的 API。
3. 如果尚未啟用基於雲的 API，請單擊啟用基於雲的 API 。
在將使用 Cloud API 的應用程序部署到生產環境之前，您應該採取一些額外的步驟來防止和減輕未經授權的 API 訪問的影響。
如果您只想使用設備端模型，則可以跳過此步驟。

現在您已準備好使用設備上模型或基於雲的模型來標記圖像。

1.準備輸入圖像

使用UIImage或CMSampleBufferRef創建VisionImage對象。

要使用UIImage ：

如有必要，旋轉圖像，使其imageOrientation屬性為.up 。
使用正確旋轉的UIImage創建一個VisionImage對象。不要指定任何旋轉元數據——必須使用默認值.topLeft 。
迅速
```
let image = VisionImage(image: uiImage)
```
Objective-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
```

要使用CMSampleBufferRef ：

創建一個VisionImageMetadata對象，該對象指定CMSampleBufferRef緩衝區中包含的圖像數據的方向。

要獲取圖像方向：

迅速

func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

Objective-C

- (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

然後，創建元數據對象：

迅速

let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

Objective-C

FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];

使用CMSampleBufferRef對象和旋轉元數據創建一個VisionImage對象：

迅速

let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

Objective-C

FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;

2. 配置並運行圖像標註器

要標記圖像中的對象，請將VisionImageLabeler VisionImage processImage()方法。

首先，獲取VisionImageLabeler的實例。

如果您想使用設備上的圖像標註器：

迅速

let labeler = Vision.vision().onDeviceImageLabeler()

// Or, to set the minimum confidence required:
// let options = VisionOnDeviceImageLabelerOptions()
// options.confidenceThreshold = 0.7
// let labeler = Vision.vision().onDeviceImageLabeler(options: options)

Objective-C

FIRVisionImageLabeler *labeler = [[FIRVision vision] onDeviceImageLabeler];

// Or, to set the minimum confidence required:
// FIRVisionOnDeviceImageLabelerOptions *options =
//         [[FIRVisionOnDeviceImageLabelerOptions alloc] init];
// options.confidenceThreshold = 0.7;
// FIRVisionImageLabeler *labeler =
//         [[FIRVision vision] onDeviceImageLabelerWithOptions:options];

如果要使用雲圖像標註器：

迅速

let labeler = Vision.vision().cloudImageLabeler()

// Or, to set the minimum confidence required:
// let options = VisionCloudImageLabelerOptions()
// options.confidenceThreshold = 0.7
// let labeler = Vision.vision().cloudImageLabeler(options: options)

Objective-C

FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];

// Or, to set the minimum confidence required:
// FIRVisionCloudImageLabelerOptions *options =
//         [[FIRVisionCloudImageLabelerOptions alloc] init];
// options.confidenceThreshold = 0.7;
// FIRVisionImageLabeler *labeler =
//         [[FIRVision vision] cloudImageLabelerWithOptions:options];

然後，將圖像傳遞給processImage()方法：

迅速

labeler.process(image) { labels, error in
    guard error == nil, let labels = labels else { return }

    // Task succeeded.
    // ...
}

Objective-C

[labeler processImage:image
           completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                        NSError *_Nullable error) {
               if (error != nil) { return; }

               // Task succeeded.
               // ...
           }];

3. 獲取標記對象的信息

如果圖像標記成功， VisionImageLabel對像數組將被傳遞給完成處理程序。您可以從每個對像中獲取有關圖像中識別的特徵的信息。

例如：

迅速

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

提高實時性能的技巧

如果您想在實時應用程序中標記圖像，請遵循以下指南以獲得最佳幀率：

限制對圖像標註器的調用。如果在圖像標註器運行時有新的視頻幀可用，則丟棄該幀。
如果您使用圖像標註器的輸出在輸入圖像上疊加圖形，首先從 ML Kit 獲取結果，然後在一個步驟中渲染圖像並疊加。通過這樣做，您只為每個輸入幀渲染到顯示表面一次。有關示例，請參閱展示示例應用程序中的previewOverlayView和FIRDetectionOverlayView類。

下一步

在將使用 Cloud API 的應用程序部署到生產環境之前，您應該採取一些額外的步驟來防止和減輕未經授權的 API 訪問的影響。