iOS에서 ML Kit를 사용하여 이미지 라벨 지정

이 페이지에서는 Firebase용 ML Kit에 포함되어 있던 Image Labeling API의 이전 버전을 설명합니다. 이 API의 기능은 2개의 새로운 API로 분할되었습니다(자세히 알아보기).

• 온디바이스 image labeling: 새로운 독립형 ML Kit SDK의 일부로, Firebase와 함께 또는 Firebase 없이 사용할 수 있습니다.
• Cloud image labeling: Firebase의 모든 클라우드 기반 ML 기능을 포함하는 Firebase ML의 일부입니다.

ML Kit를 통해 기기별 모델 또는 클라우드 모델을 사용하여 이미지에서 인식된 객체에 라벨을 지정할 수 있습니다. 각 방법의 이점에 대해 알아보려면 개요를 참조하세요.

ML Kit를 사용하여 Cloud ML 기능에 액세스할 경우 Google Cloud Platform 라이선스 계약 및 서비스별 약관이 적용되며 이에 따라 요금이 청구됩니다. 결제 정보는 Firebase 가격 책정 페이지를 참조하세요.

시작하기 전에

1. 앱에 Firebase를 아직 추가하지 않았다면 시작 가이드의 단계에 따라 추가합니다.
2. Podfile에 ML Kit 라이브러리를 포함합니다.

   pod 'Firebase/MLVision', '6.25.0'
   
   
   # If using the on-device API:
   pod 'Firebase/MLVisionLabelModel', '6.25.0'
   

   프로젝트의 포드를 설치하거나 업데이트한 후 .xcworkspace를 사용하여 Xcode 프로젝트를 열어야 합니다.
3. 앱에서 Firebase를 가져옵니다.

   Swift

   import Firebase

   Objective-C

   @import Firebase;

4. 클라우드 기반 모델을 사용하려는 경우 프로젝트에 클라우드 기반 API를 아직 사용 설정하지 않았으면 지금 설정하세요.

   1. Firebase Console의 ML Kit API 페이지를 엽니다.

   2. 프로젝트를 Blaze 요금제로 아직 업그레이드하지 않은 경우 업그레이드를 클릭하여 업그레이드하세요. 프로젝트가 Blaze 요금제가 아닌 경우에만 업그레이드하라는 메시지가 표시됩니다.

      Blaze 수준 프로젝트만 클라우드 기반 API를 사용할 수 있습니다.

   3. 클라우드 기반 API가 아직 사용 설정되지 않은 경우 클라우드 기반 API 사용 설정을 클릭합니다.
   Cloud API를 사용하는 앱을 프로덕션 환경에 배포하기 전에 몇 가지 추가 단계를 수행하여 승인되지 않은 API 액세스를 방지하고 그로 인한 영향을 완화해야 합니다.

   기기별 모델만 사용하려는 경우 이 단계를 건너뛸 수 있습니다.

이제 기기별 모델 또는 클라우드 기반 모델을 사용하여 이미지에 라벨을 지정할 수 있습니다.

1. 입력 이미지 준비

UIImage 또는 CMSampleBufferRef를 사용하여 VisionImage 객체를 만듭니다.

UIImage를 사용하는 방법은 다음과 같습니다.

1. 필요한 경우 imageOrientation 속성이 .up이 되도록 이미지를 회전합니다.
2. 올바르게 회전된 UIImage를 사용하여 VisionImage 객체를 만듭니다. 회전 메타데이터를 지정하지 마세요. 기본값인 .topLeft를 사용해야 합니다.

   Swift

   let image = VisionImage(image: uiImage)

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

CMSampleBufferRef를 사용하는 방법은 다음과 같습니다.

1. CMSampleBufferRef 버퍼에 포함된 이미지 데이터의 방향을 지정하는 VisionImageMetadata 객체를 만듭니다.

   이미지 방향을 가져오는 방법은 다음과 같습니다.

   Swift

   func imageOrientation(
       deviceOrientation: UIDeviceOrientation,
       cameraPosition: AVCaptureDevice.Position
       ) -> VisionDetectorImageOrientation {
       switch deviceOrientation {
       case .portrait:
           return cameraPosition == .front ? .leftTop : .rightTop
       case .landscapeLeft:
           return cameraPosition == .front ? .bottomLeft : .topLeft
       case .portraitUpsideDown:
           return cameraPosition == .front ? .rightBottom : .leftBottom
       case .landscapeRight:
           return cameraPosition == .front ? .topRight : .bottomRight
       case .faceDown, .faceUp, .unknown:
           return .leftTop
       }
   }

   Objective-C

   - (FIRVisionDetectorImageOrientation)
       imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                              cameraPosition:(AVCaptureDevicePosition)cameraPosition {
     switch (deviceOrientation) {
       case UIDeviceOrientationPortrait:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationLeftTop;
         } else {
           return FIRVisionDetectorImageOrientationRightTop;
         }
       case UIDeviceOrientationLandscapeLeft:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationBottomLeft;
         } else {
           return FIRVisionDetectorImageOrientationTopLeft;
         }
       case UIDeviceOrientationPortraitUpsideDown:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationRightBottom;
         } else {
           return FIRVisionDetectorImageOrientationLeftBottom;
         }
       case UIDeviceOrientationLandscapeRight:
         if (cameraPosition == AVCaptureDevicePositionFront) {
           return FIRVisionDetectorImageOrientationTopRight;
         } else {
           return FIRVisionDetectorImageOrientationBottomRight;
         }
       default:
         return FIRVisionDetectorImageOrientationTopLeft;
     }
   }

   그런 다음 메타데이터 객체를 만듭니다.

   Swift

   let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
   let metadata = VisionImageMetadata()
   metadata.orientation = imageOrientation(
       deviceOrientation: UIDevice.current.orientation,
       cameraPosition: cameraPosition
   )

   Objective-C

   FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
   AVCaptureDevicePosition cameraPosition =
       AVCaptureDevicePositionBack;  // Set to the capture device you used.
   metadata.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

2. CMSampleBufferRef 객체 및 회전 메타데이터를 사용하여 VisionImage 객체를 만듭니다.

   Swift

   let image = VisionImage(buffer: sampleBuffer)
   image.metadata = metadata

   Objective-C

   FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
   image.metadata = metadata;

2. 이미지 라벨러 구성 및 실행

이미지의 객체에 라벨을 지정하려면 VisionImage 객체를 VisionImageLabeler의 processImage() 메서드에 전달합니다.

1. 먼저 VisionImageLabeler의 인스턴스를 가져옵니다.

   기기별 이미지 레이블러를 사용하려면 다음 안내를 따르세요.

   Swift

   let labeler = Vision.vision().onDeviceImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionOnDeviceImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().onDeviceImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] onDeviceImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionOnDeviceImageLabelerOptions *options =
   //         [[FIRVisionOnDeviceImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] onDeviceImageLabelerWithOptions:options];
   

   클라우드 이미지 레이블러를 사용하려면 다음 안내를 따르세요.

   Swift

   let labeler = Vision.vision().cloudImageLabeler()
   
   // Or, to set the minimum confidence required:
   // let options = VisionCloudImageLabelerOptions()
   // options.confidenceThreshold = 0.7
   // let labeler = Vision.vision().cloudImageLabeler(options: options)
   

   Objective-C

   FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];
   
   // Or, to set the minimum confidence required:
   // FIRVisionCloudImageLabelerOptions *options =
   //         [[FIRVisionCloudImageLabelerOptions alloc] init];
   // options.confidenceThreshold = 0.7;
   // FIRVisionImageLabeler *labeler =
   //         [[FIRVision vision] cloudImageLabelerWithOptions:options];
   

2. 이제 이미지를 processImage() 메서드에 전달합니다.

   Swift

   labeler.process(image) { labels, error in
       guard error == nil, let labels = labels else { return }
   
       // Task succeeded.
       // ...
   }
   

   Objective-C

   [labeler processImage:image
              completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                           NSError *_Nullable error) {
                  if (error != nil) { return; }
   
                  // Task succeeded.
                  // ...
              }];
   

3. 라벨이 지정된 객체 정보 가져오기

이미지 라벨 지정이 성공하면 VisionImageLabel 객체의 배열이 완료 핸들러에 전달됩니다. 이미지에서 인식된 특성에 대한 정보를 각 객체에서 가져올 수 있습니다.

예를 들면 다음과 같습니다.

Swift

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

실시간 성능 향상을 위한 팁

실시간 애플리케이션에서 이미지 라벨을 지정하려는 경우 최상의 프레임 속도를 얻으려면 다음 안내를 따르세요.

• 이미지 레이블러 호출을 제한합니다. 이미지 레이블러가 실행 중일 때 새 동영상 프레임이 제공되는 경우 프레임을 낮춥니다.
• 이미지 레이블러 출력을 사용해 입력 이미지에서 그래픽을 오버레이하는 경우 먼저 ML Kit에서 인식 결과를 가져온 후 이미지를 렌더링하고 단일 단계로 오버레이합니다. 이렇게 하면 입력 프레임별로 한 번만 디스플레이 표면에 렌더링됩니다. 관련 예시는 쇼케이스 샘플 앱에서 previewOverlayView 및 FIRDetectionOverlayView 클래스를 참조하세요.

다음 단계

• Cloud API를 사용하는 앱을 프로덕션 환경에 배포하기 전에 몇 가지 추가 단계를 수행하여 승인되지 않은 API 액세스를 방지하고 그로 인한 영향을 완화합니다.