在 Apple 平台上使用 Firebase 機器學習為圖片加上標籤

您可以使用 Firebase ML 為圖片中辨識出的物件加上標籤。如要瞭解這個 API 的功能，請參閱總覽。

事前準備

    使用 Swift Package Manager 安裝及管理 Firebase 依附元件。

    1. 在 Xcode 中保持開啟應用程式專案，然後依序點選「File」>「Add Packages」。
    2. 在系統提示時，新增 Firebase Apple 平台 SDK 存放區：
      3.   https://github.com/firebase/firebase-ios-sdk.git
    3. 選擇 Firebase ML 程式庫。
    4. 在目標建構設定的「Other Linker Flags」部分中新增 -ObjC 標記。
    5. 完成後，Xcode 會自動開始在背景解析並下載依附元件。

    接下來，進行一些應用程式內設定：

    1. 在應用程式中匯入 Firebase：

      Swift

      import FirebaseMLModelDownloader

      Objective-C

      @import FirebaseMLModelDownloader;

  1. 如果您尚未為專案啟用雲端式 API，請立即啟用：

    1. 開啟 Firebase 控制台的 Firebase ML API 頁面。

    2. 如果您尚未將專案升級至 Blaze 定價方案，按一下「升級」即可進行升級 (只有在專案未採用 Blaze 方案時，系統才會提示您升級)。

      只有 Blaze 層級的專案可以使用以雲端為基礎的 API。

    3. 如果雲端型 API 尚未啟用，請點選「啟用雲端式 API」。

您現在可以開始為圖片加上標籤。

1. 準備輸入圖片

使用 UIImage 或 CMSampleBufferRef 建立 VisionImage 物件。

如何使用 UIImage：

  1. 視需要旋轉圖片，讓 imageOrientation 屬性為 .up。
  2. 使用正確旋轉的 UIImage 建立 VisionImage 物件。請勿指定任何旋轉中繼資料，必須使用預設值 .topLeft。

    Swift

    let image = VisionImage(image: uiImage)

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

如何使用 CMSampleBufferRef：

  1. 建立 VisionImageMetadata 物件，指定 CMSampleBufferRef 緩衝區中圖片資料的方向。

    如何取得圖片方向：

    Swift

    func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

    Objective-C

    - (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

    然後，建立中繼資料物件：

    Swift

    let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

    Objective-C

    FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];
  2. 使用 CMSampleBufferRef 物件和旋轉中繼資料建立 VisionImage 物件：

    Swift

    let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;

2. 設定並執行映像檔標籤工具

如要為圖片中的物件加上標籤，請將 VisionImage 物件傳遞至 VisionImageLabeler 的 processImage() 方法。

  1. 首先，請取得 VisionImageLabeler 的例項：

    Swift

    let labeler = Vision.vision().cloudImageLabeler()

// Or, to set the minimum confidence required:
// let options = VisionCloudImageLabelerOptions()
// options.confidenceThreshold = 0.7
// let labeler = Vision.vision().cloudImageLabeler(options: options)

    Objective-C

    FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];

// Or, to set the minimum confidence required:
// FIRVisionCloudImageLabelerOptions *options =
//         [[FIRVisionCloudImageLabelerOptions alloc] init];
// options.confidenceThreshold = 0.7;
// FIRVisionImageLabeler *labeler =
//         [[FIRVision vision] cloudImageLabelerWithOptions:options];

  2. 接著，將圖片傳遞至 processImage() 方法：

    Swift

    labeler.process(image) { labels, error in
    guard error == nil, let labels = labels else { return }

    // Task succeeded.
    // ...
}

    Objective-C

    [labeler processImage:image
           completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                        NSError *_Nullable error) {
               if (error != nil) { return; }

               // Task succeeded.
               // ...
           }];

3. 取得加上標籤的物件相關資訊

如果圖片標籤成功，系統會將 VisionImageLabel 物件陣列傳遞至完成處理常式。您可以透過每個物件取得在圖片中辨識的地圖項目相關資訊。

例如：

Swift

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

後續步驟