Firebase ML を使用して画像内のテキストを認識する（iOS）

Firebase ML を使用すると、画像内のテキストを認識できます。Firebase ML には、画像内テキスト（道路標識のテキストなど）の認識に適した汎用 API と、ドキュメント内テキストの認識に最適化された API があります。

始める前に

Swift Package Manager を使用して Firebase の依存関係のインストールと管理を行います。

Xcode でアプリのプロジェクトを開いたまま、[File] > [Add Packages] の順に移動します。
プロンプトが表示されたら、Firebase Apple プラットフォーム SDK リポジトリを追加します。

  https://github.com/firebase/firebase-ios-sdk.git

Firebase ML ライブラリを選択します。
ターゲットのビルド設定の [Other Linker Flags] セクションに -ObjC フラグを追加します。
上記の作業が完了すると、Xcode は依存関係の解決とバックグラウンドでのダウンロードを自動的に開始します。

次に、アプリ内の設定を行います。

アプリに Firebase をインポートします。

Swift

import FirebaseMLModelDownloader

Objective-C

@import FirebaseMLModelDownloader;

プロジェクトで Cloud ベースの API をまだ有効にしていない場合は、ここで有効にします。
1. Firebase コンソールの Firebase ML の [APIs] ページを開きます。
2. まだプロジェクトを Blaze 料金プランにアップグレードしていない場合は、[アップグレード] をクリックしてアップグレードします（プロジェクトをアップグレードするよう求められるのは、プロジェクトが Blaze プランでない場合のみです）。
  
  Blaze レベルのプロジェクトだけが Cloud ベースの API を使用できます。
3. Cloud ベースの API がまだ有効になっていない場合は、[Cloud ベースの API を有効化] をクリックします。
Cloud APIs を使用するアプリを本番環境にデプロイする前に、不正な API アクセスを防いでその影響を軽減するための追加手順を実施する必要があります。

これで、画像内のテキストを認識する準備ができました。

入力画像に関するガイドライン

Firebase ML でテキストを正確に認識するためには、入力画像に含まれているテキストが十分なピクセルデータによって表示されている必要があります。ラテン文字のテキストの場合は、各文字が少なくとも 16x16 ピクセルであるのが理想的です。中国語、日本語、韓国語のテキストでは、各文字が 24x24 ピクセルであることが望まれます。どの言語においても、一般に、文字を 24x24 ピクセルより大きくしても認識精度は向上しません。

そのため、たとえば画像の全幅を占める名刺をスキャンする場合は、640x480 の画像が適しています。レターサイズの用紙に印刷された文書をスキャンする場合は、720x1280 ピクセルの画像が必要になることがあります。
画像がぼやけていると、テキスト認識の精度が低下する可能性があります。満足のいく結果が得られない場合は、ユーザーに画像をキャプチャし直すよう求めてください。

画像内のテキストを認識する

画像内のテキストを認識するには、以下で説明するようにテキスト認識機能を実行します。

1. テキスト認識機能を実行する

画像を UIImage または CMSampleBufferRef として VisionTextRecognizer の process(_:completion:) メソッドに渡します。

cloudTextRecognizer を呼び出して VisionTextRecognizer のインスタンスを取得します。

Swift

let vision = Vision.vision()
let textRecognizer = vision.cloudTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudTextRecognizer(options: options)

Objective-C

FIRVision *vision = [FIRVision vision];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudTextRecognizerOptions *options =
        [[FIRVisionCloudTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];

Cloud Vision を呼び出すには、画像を base64 でエンコードされた文字列としてフォーマットする必要があります。以下の方法で UIImage を処理します。

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

次に、画像を process(_:completion:) メソッドに渡します。

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(FIRVisionText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

  // Recognized text
}];

2. 認識したテキストのブロックからテキストを抽出する

テキスト認識オペレーションが成功すると、VisionText オブジェクトが返されます。VisionText オブジェクトには、画像で認識された全テキストと、0 個以上の VisionTextBlock オブジェクトが含まれています。

各 VisionTextBlock は四角形のテキストブロックを表し、それぞれのブロックに 0 個以上の VisionTextLine オブジェクトが含まれます。各 VisionTextLine オブジェクトには 0 個以上の VisionTextElement オブジェクトが含まれ、これは単語や単語に似たエンティティ（日付や数字など）を表します。

VisionTextBlock、VisionTextLine、VisionTextElement のそれぞれのオブジェクトについて、領域内で認識されたテキストと、領域の境界座標を取得できます。

次に例を示します。

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

次のステップ

Cloud APIs を使用するアプリを本番環境にデプロイする前に、不正な API アクセスを防いでその影響を軽減するため、いくつかの追加手順が必要になります。

ドキュメントの画像でテキストを認識する

ドキュメントのテキストを認識するには、以下の説明に従ってドキュメントテキスト認識機能を構成して実行します。

以下で説明するように、ドキュメントテキスト認識 API ではドキュメントの画像を処理するための便利なインターフェースが提供されます。ただし、まばらなテキスト用の API で提供されるインターフェースを使用したい場合は、それを使用してドキュメントをスキャンすることもできます。これを行うには、高密度テキストモデルを使用するようにクラウドテキスト認識機能を構成します。

ドキュメントテキスト認識 API を使用するには:

1. テキスト認識機能を実行する

画像を UIImage または CMSampleBufferRef として VisionDocumentTextRecognizer の process(_:completion:) メソッドに渡します。

cloudDocumentTextRecognizer を呼び出して VisionDocumentTextRecognizer のインスタンスを取得します。

Swift

let vision = Vision.vision()
let textRecognizer = vision.cloudDocumentTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudDocumentTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)

Objective-C

FIRVision *vision = [FIRVision vision];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudDocumentTextRecognizerOptions *options =
        [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];

Cloud Vision を呼び出すには、画像を base64 でエンコードされた文字列としてフォーマットする必要があります。以下の方法で UIImage を処理します。

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

次に、画像を process(_:completion:) メソッドに渡します。

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(FIRVisionDocumentText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

    // Recognized text
}];

2. 認識したテキストのブロックからテキストを抽出する

テキスト認識オペレーションが成功すると、VisionDocumentText オブジェクトが返されます。VisionDocumentText オブジェクトには、画像で認識された全テキストと、認識されたドキュメントの構造が反映されているオブジェクトの階層が含まれます。

VisionDocumentTextBlock、VisionDocumentTextParagraph、VisionDocumentTextWord、VisionDocumentTextSymbol のそれぞれのオブジェクトについて、領域内で認識されたテキストと、領域の境界座標を取得できます。

次に例を示します。

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

次のステップ

Cloud APIs を使用するアプリを本番環境にデプロイする前に、不正な API アクセスを防いでその影響を軽減するため、いくつかの追加手順が必要になります。