Firebase Summit で発表されたすべての情報をご覧ください。Firebase を使用してアプリ開発を加速し、自信を持ってアプリを実行する方法を紹介しています。詳細

iOSのFirebaseMLでランドマークを認識する

Firebase ML を使用して、画像内のよく知られたランドマークを認識できます。

あなたが始める前に

    アプリに Firebase をまだ追加していない場合は、スタート ガイドの手順に従って追加してください。

    Swift Package Manager を使用して、Firebase の依存関係をインストールおよび管理します。

    1. Xcode で、アプリ プロジェクトを開いた状態で、 File > Add Packagesに移動します。
    2. プロンプトが表示されたら、Firebase Apple プラットフォーム SDK リポジトリを追加します。
    3.   https://github.com/firebase/firebase-ios-sdk
    4. Firebase ML ライブラリを選択します。
    5. 完了すると、Xcode はバックグラウンドで依存関係の解決とダウンロードを自動的に開始します。

    次に、アプリ内セットアップを実行します。

    1. アプリで、Firebase をインポートします。

      迅速

      import FirebaseMLModelDownloader

      Objective-C

      @import FirebaseMLModelDownloader;
  1. プロジェクトでクラウドベースの API をまだ有効にしていない場合は、ここで有効にします。

    1. Firebase コンソールのFirebase ML API ページを開きます。
    2. プロジェクトを Blaze 料金プランにまだアップグレードしていない場合は、[アップグレード] をクリックしてアップグレードします。 (プロジェクトが Blaze プランに含まれていない場合にのみ、アップグレードするように求められます。)

      Blaze レベルのプロジェクトのみがクラウドベースの API を使用できます。

    3. クラウドベースの API がまだ有効になっていない場合は、[クラウドベースの API を有効にする] をクリックします。

ランドマーク検出器を構成する

デフォルトでは、Cloud Detector はモデルの安定バージョンを使用し、最大 10 個の結果を返します。これらの設定のいずれかを変更する場合は、次の例のようにVisionCloudDetectorOptionsオブジェクトで指定します。

迅速

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

次のステップでは、Cloud Detector オブジェクトを作成するときにVisionCloudDetectorOptionsオブジェクトを渡します。

ランドマーク検出器を実行する

画像内のランドマークを認識するには、画像をUIImageまたはCMSampleBufferRefとしてVisionCloudLandmarkDetectordetect(in:)メソッドに渡します。

  1. VisionCloudLandmarkDetectorのインスタンスを取得します。

    迅速

    lazy var vision = Vision.vision()
    
    let cloudDetector = vision.cloudLandmarkDetector(options: options)
    // Or, to use the default settings:
    // let cloudDetector = vision.cloudLandmarkDetector()
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLandmarkDetector *landmarkDetector =
    //     [vision cloudLandmarkDetectorWithOptions:options];
    
  2. Cloud Vision を呼び出すには、画像を base64 でエンコードされた文字列としてフォーマットする必要があります。 UIImageを処理するには:

    迅速

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
    let base64encodedImage = imageData.base64EncodedString()

    Objective-C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
    NSString *base64encodedImage =
      [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. 次に、画像をdetect(in:)メソッドに渡します。

    迅速

    cloudDetector.detect(in: visionImage) { landmarks, error in
      guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
        // ...
        return
      }
    
      // Recognized landmarks
      // ...
    }
    

    Objective-C

    [landmarkDetector detectInImage:image
                         completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                      NSError *error) {
      if (error != nil) {
        return;
      } else if (landmarks != nil) {
        // Got landmarks
      }
    }];
    

認識されたランドマークに関する情報を取得する

ランドマークの認識が成功すると、 VisionCloudLandmarkオブジェクトの配列が完了ハンドラーに渡されます。各オブジェクトから、画像内で認識されたランドマークに関する情報を取得できます。

例えば:

迅速

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

次のステップ