了解 2023 年 Google I/O 大会上介绍的 Firebase 亮点。了解详情

本頁面由 Cloud Translation API 翻譯而成。

在 iOS 上使用 Firebase ML 來辨識圖片中的文字

你可以使用 Firebase ML 辨識圖片中的文字。Firebase ML 提供適用於辨識圖片文字 (例如路標文字) 的一般用途 API，以及用於辨識文件文字最佳化的 API。

事前準備

使用 Swift Package Manager 安裝及管理 Firebase 依附元件。

在 Xcode 中保持開啟應用程式專案，然後依序點選「File」>「Add Packages」。
在系統提示時，新增 Firebase Apple 平台 SDK 存放區：

  https://github.com/firebase/firebase-ios-sdk.git

選擇 Firebase ML 程式庫。
在目標建構設定的「Other Linker Flags」部分中新增 -ObjC 標記。
完成後，Xcode 會自動開始在背景解析並下載依附元件。

接下來，進行一些應用程式內設定：

在應用程式中匯入 Firebase：

Swift

import FirebaseMLModelDownloader

Objective-C

@import FirebaseMLModelDownloader;

如果您尚未為專案啟用雲端式 API，請立即啟用：
1. 開啟 Firebase 控制台的 Firebase ML API 頁面。
2. 如果您尚未將專案升級至 Blaze 定價方案，按一下「升級」即可進行升級 (只有在專案未採用 Blaze 方案時，系統才會提示您升級)。
  
  只有 Blaze 層級的專案可以使用以雲端為基礎的 API。
3. 如果雲端型 API 尚未啟用，請點選「啟用雲端式 API」。
在部署至使用 Cloud API 的實際工作環境應用程式之前，建議先採取一些額外步驟來防範及降低未經授權 API 存取行為的影響。

現在可以開始辨識圖片中的文字。

輸入圖片規範

為了讓 Firebase ML 準確辨識文字，輸入圖片必須包含以充足的像素資料表示的文字。理想情況下，拉丁文字的每個字元至少要有 16x16 像素。如果是中文、日文和韓文，則每個字元都必須是 24x24 像素。對於所有語言來說，大於 24x24 像素的字元通常沒有什麼助益。

舉例來說，640x480 的圖片可能適合掃描佔圖片整個寬度的名片，如要掃描印在正大尺寸紙上的文件，可能需要使用 720 x 1280 像素的圖片。
圖片焦點不佳可能會降低文字辨識的準確度。如果您仍未取得可接受的結果，請嘗試要求使用者重新拍攝圖片。

辨識圖片中的文字

如要辨識圖片中的文字，請按照下方說明執行文字辨識工具。

1. 執行文字辨識工具

將圖片做為 UIImage 或 CMSampleBufferRef 傳遞至 VisionTextRecognizer 的 process(_:completion:) 方法：

呼叫 cloudTextRecognizer 取得 VisionTextRecognizer 的例項：

Swift

let vision = Vision.vision()
let textRecognizer = vision.cloudTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudTextRecognizer(options: options)

Objective-C

FIRVision *vision = [FIRVision vision];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudTextRecognizerOptions *options =
        [[FIRVisionCloudTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];

為了呼叫 Cloud Vision，圖片必須採用 Base64 編碼字串格式。如何處理 UIImage：

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

接著，將圖片傳遞至 process(_:completion:) 方法：

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(FIRVisionText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

  // Recognized text
}];

2. 從已辨識的文字區塊擷取文字

如果文字辨識作業成功，會傳回 VisionText 物件。VisionText 物件包含圖片中可辨識的完整文字，以及零個或多個 VisionTextBlock 物件。

每個 VisionTextBlock 都代表矩形文字區塊，當中包含零或多個 VisionTextLine 物件。每個 VisionTextLine 物件都含有零或多個 VisionTextElement 物件，這些物件代表字詞和類似文字的實體 (日期、數字等)。

對於每個 VisionTextBlock、VisionTextLine 和 VisionTextElement 物件，您可以取得在區域辨識的文字和該區域的定界座標。

例如：

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

後續步驟

在部署至使用 Cloud API 的正式版應用程式之前，建議先採取一些額外步驟，預防及降低未經授權 API 存取所造成的影響。

辨識文件圖片中的文字

如要識別文件中的文字，請按照下列說明設定並執行文件文字辨識工具。

如下所述文件文字辨識 API 所提供的介面，讓您更輕鬆地處理文件的圖片。不過，如果您偏好使用稀疏文字 API 提供的介面，則可將雲端文字辨識工具設為使用密集文字模型，以便改用該介面掃描文件。

如何使用文件文字辨識 API：

1. 執行文字辨識工具

將圖片做為 UIImage 或 CMSampleBufferRef 傳遞至 VisionDocumentTextRecognizer 的 process(_:completion:) 方法：

呼叫 cloudDocumentTextRecognizer 取得 VisionDocumentTextRecognizer 的例項：

Swift

let vision = Vision.vision()
let textRecognizer = vision.cloudDocumentTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudDocumentTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)

Objective-C

FIRVision *vision = [FIRVision vision];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudDocumentTextRecognizerOptions *options =
        [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];

為了呼叫 Cloud Vision，圖片必須採用 Base64 編碼字串格式。如何處理 UIImage：

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

接著，將圖片傳遞至 process(_:completion:) 方法：

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(FIRVisionDocumentText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

    // Recognized text
}];

2. 從已辨識的文字區塊擷取文字

如果文字辨識作業成功，會傳回 VisionDocumentText 物件。VisionDocumentText 物件包含圖片中可辨識的完整文字，以及反映已辨識文件結構的物件階層：

對於每個 VisionDocumentTextBlock、VisionDocumentTextParagraph、VisionDocumentTextWord 和 VisionDocumentTextSymbol 物件，您可以取得區域中辨識的文字和該區域的定界座標。

例如：

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

後續步驟

在部署至使用 Cloud API 的正式版應用程式之前，建議先採取一些額外步驟，預防及降低未經授權 API 存取所造成的影響。