了解 2023 年 Google I/O 大会上介绍的 Firebase 亮点。了解详情

หน้านี้ได้รับการแปลโดย Cloud Translation API

จดจำข้อความในรูปภาพด้วย ML Kit บน iOS

หน้านี้อธิบาย Text Recognition APIเวอร์ชันเก่า ซึ่งเป็นส่วนหนึ่งของ ML Kit สำหรับ Firebase ฟังก์ชันการทำงานของ API นี้แบ่งออกเป็น API ใหม่ 2 รายการ ( เรียนรู้เพิ่มเติม ):

text recognitionบนอุปกรณ์ เป็นส่วนหนึ่งของ ML Kit SDK แบบสแตนด์อโลนใหม่ ซึ่งคุณจะใช้งานได้โดยมีหรือไม่มี Firebase
Cloud text recognition เป็นส่วนหนึ่งของ Firebase ML ซึ่งรวมถึงฟีเจอร์ ML บนคลาวด์ทั้งหมดของ Firebase

คุณสามารถใช้ ML Kit เพื่อจดจำข้อความในรูปภาพได้ ML Kit มีทั้ง API วัตถุประสงค์ทั่วไปที่เหมาะสมสำหรับการจดจำข้อความในรูปภาพ เช่น ข้อความของป้ายถนน และ API ที่ปรับให้เหมาะสมสำหรับการจดจำข้อความในเอกสาร API วัตถุประสงค์ทั่วไปมีทั้งโมเดลบนอุปกรณ์และบนคลาวด์ การรู้จำข้อความในเอกสารมีให้ใช้งานในรูปแบบคลาวด์เท่านั้น ดู ภาพรวม สำหรับการเปรียบเทียบรุ่นคลาวด์และบนอุปกรณ์

ก่อนที่คุณจะเริ่ม

หากคุณยังไม่ได้เพิ่ม Firebase ลงในแอปของคุณ ให้ทำตามขั้นตอนใน คู่มือการเริ่มต้นใช้งาน
รวมไลบรารี ML Kit ไว้ใน Podfile ของคุณ:
```
pod 'Firebase/MLVision', '6.25.0'
# If using an on-device API:
pod 'Firebase/MLVisionTextModel', '6.25.0'
```
หลังจากที่คุณติดตั้งหรืออัปเดต Pod ของโปรเจ็กต์แล้ว อย่าลืมเปิดโปรเจ็กต์ Xcode โดยใช้ .xcworkspace
ในแอปของคุณ ให้นำเข้า Firebase:
สวิฟท์
```
import Firebase
```
วัตถุประสงค์-C
```
@import Firebase;
```
หากคุณต้องการใช้โมเดลบนคลาวด์ และคุณยังไม่ได้เปิดใช้งาน API บนคลาวด์สำหรับโปรเจ็กต์ของคุณ ให้ดำเนินการทันที:
1. เปิด หน้า ML Kit API ของคอนโซล Firebase
2. หากคุณยังไม่ได้อัปเกรดโปรเจ็กต์เป็นแผนราคา Blaze ให้คลิก อัปเกรด เพื่อดำเนินการดังกล่าว (คุณจะได้รับแจ้งให้อัปเกรดเฉพาะในกรณีที่โปรเจ็กต์ของคุณไม่ได้อยู่ในแผน Blaze)
  เฉพาะโปรเจ็กต์ระดับ Blaze เท่านั้นที่ใช้ API บนระบบคลาวด์ได้
3. หากยังไม่ได้เปิดใช้งาน API ในระบบคลาวด์ ให้คลิก เปิดใช้งาน API ในระบบคลาวด์
ก่อนที่คุณจะปรับใช้แอปที่ใช้ Cloud API ในการผลิต คุณควรดำเนินการขั้นตอนเพิ่มเติมเพื่อ ป้องกันและลดผลกระทบจากการเข้าถึง API ที่ไม่ได้รับอนุญาต
หากคุณต้องการใช้เฉพาะรุ่นในอุปกรณ์ คุณสามารถข้ามขั้นตอนนี้ได้

ตอนนี้คุณพร้อมที่จะเริ่มจดจำข้อความในรูปภาพแล้ว

แนวทางการป้อนรูปภาพ

เพื่อให้ ML Kit จดจำข้อความได้อย่างแม่นยำ รูปภาพที่ป้อนจะต้องมีข้อความที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ ตามหลักการแล้ว สำหรับข้อความภาษาละติน อักขระแต่ละตัวควรมีขนาดอย่างน้อย 16x16 พิกเซล สำหรับข้อความภาษาจีน ญี่ปุ่น และเกาหลี (รองรับโดย API ในระบบคลาวด์เท่านั้น) อักขระแต่ละตัวควรมีขนาด 24x24 พิกเซล สำหรับทุกภาษา โดยทั่วไปจะไม่มีประโยชน์ด้านความแม่นยำสำหรับอักขระที่มีขนาดใหญ่กว่า 24x24 พิกเซล
ตัวอย่างเช่น รูปภาพขนาด 640x480 อาจทำงานได้ดีในการสแกนนามบัตรที่ใช้พื้นที่เต็มความกว้างของรูปภาพ หากต้องการสแกนเอกสารที่พิมพ์บนกระดาษขนาด Letter อาจต้องใช้รูปภาพขนาด 720x1280 พิกเซล
การโฟกัสภาพที่ไม่ดีอาจส่งผลเสียต่อความแม่นยำในการจดจำข้อความ หากคุณไม่ได้รับผลลัพธ์ที่ยอมรับได้ ให้ลองขอให้ผู้ใช้จับภาพใหม่
หากคุณกำลังจดจำข้อความในแอปพลิเคชันแบบเรียลไทม์ คุณอาจต้องการพิจารณาขนาดโดยรวมของภาพที่ป้อนเข้าด้วย รูปภาพขนาดเล็กสามารถประมวลผลได้เร็วขึ้น ดังนั้นเพื่อลดเวลาในการตอบสนอง ให้ถ่ายภาพด้วยความละเอียดที่ต่ำกว่า (โดยคำนึงถึงข้อกำหนดด้านความแม่นยำข้างต้น) และตรวจสอบให้แน่ใจว่าข้อความกินพื้นที่รูปภาพมากที่สุดเท่าที่จะเป็นไปได้ ดู เคล็ดลับในการปรับปรุงประสิทธิภาพแบบเรียลไทม์ ด้วย

จดจำข้อความในภาพ

หากต้องการจดจำข้อความในรูปภาพโดยใช้รุ่นบนอุปกรณ์หรือบนคลาวด์ ให้เรียกใช้ตัวรู้จำข้อความตามที่อธิบายไว้ด้านล่าง

1. เรียกใช้โปรแกรมจดจำข้อความ

ส่งรูปภาพเป็น `UIImage` หรือ `CMSampleBufferRef` ไปยังเมธอด `process(_:completion:)` ของ `VisionTextRecognizer`:

รับอินสแตนซ์ของ VisionTextRecognizer โดยการเรียก onDeviceTextRecognizer หรือ cloudTextRecognizer :
สวิฟท์
วิธีใช้รุ่นบนอุปกรณ์:
```
let vision = Vision.vision()
let textRecognizer = vision.onDeviceTextRecognizer()
```
หากต้องการใช้โมเดลคลาวด์:
การใช้ ML Kit เพื่อเข้าถึงฟังก์ชัน Cloud ML อยู่ภายใต้ ข้อตกลงใบอนุญาต Google Cloud Platform และ ข้อกำหนดเฉพาะบริการ และเรียกเก็บเงินตามนั้น สำหรับข้อมูลการเรียกเก็บเงิน โปรดดูที่หน้า ราคา Firebase
```
let vision = Vision.vision()
let textRecognizer = vision.cloudTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudTextRecognizer(options: options)
```
วัตถุประสงค์-C
วิธีใช้รุ่นบนอุปกรณ์:
```
FIRVision *vision = [FIRVision vision];
FIRVisionTextRecognizer *textRecognizer = [vision onDeviceTextRecognizer];
```
หากต้องการใช้โมเดลคลาวด์:
การใช้ ML Kit เพื่อเข้าถึงฟังก์ชัน Cloud ML อยู่ภายใต้ ข้อตกลงใบอนุญาต Google Cloud Platform และ ข้อกำหนดเฉพาะบริการ และเรียกเก็บเงินตามนั้น สำหรับข้อมูลการเรียกเก็บเงิน โปรดดูที่หน้า ราคา Firebase
```
FIRVision *vision = [FIRVision vision];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudTextRecognizerOptions *options =
        [[FIRVisionCloudTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
```

สร้างวัตถุ VisionImage โดยใช้ UIImage หรือ CMSampleBufferRef

วิธีใช้ UIImage :

หากจำเป็น ให้หมุนรูปภาพเพื่อให้คุณสมบัติ imageOrientation เป็น .up
สร้างวัตถุ VisionImage โดยใช้ UIImage ที่หมุนอย่างถูกต้อง อย่าระบุข้อมูลเมตาการหมุนเวียนใดๆ ต้องใช้ค่าเริ่มต้น . .topLeft
สวิฟท์
```
let image = VisionImage(image: uiImage)
```
วัตถุประสงค์-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
```

วิธีใช้ CMSampleBufferRef :

สร้างออบเจ็กต์ VisionImageMetadata ที่ระบุการวางแนวของข้อมูลรูปภาพที่มีอยู่ในบัฟเฟอร์ CMSampleBufferRef

เพื่อให้ได้การวางแนวของภาพ:

สวิฟท์

func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

วัตถุประสงค์-C

- (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

จากนั้นสร้างวัตถุข้อมูลเมตา:

สวิฟท์

let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

วัตถุประสงค์-C

FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];

สร้างวัตถุ VisionImage โดยใช้วัตถุ CMSampleBufferRef และข้อมูลเมตาการหมุน:
สวิฟท์
```
let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata
```
วัตถุประสงค์-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;
```

จากนั้นส่งภาพไปยังเมธอด process(_:completion:) :

สวิฟท์

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

วัตถุประสงค์-C

[textRecognizer processImage:image
                  completion:^(FIRVisionText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

  // Recognized text
}];

2. แยกข้อความออกจากกลุ่มข้อความที่รู้จัก

หากการดำเนินการจดจำข้อความสำเร็จ ก็จะส่งคืนออบเจ็กต์ [`VisionText`][VisionText] ออบเจ็กต์ `VisionText` ประกอบด้วยข้อความแบบเต็มที่รู้จักในรูปภาพ และออบเจ็กต์ [`VisionTextBlock`][VisionTextBlock] เป็นศูนย์หรือมากกว่านั้น `VisionTextBlock` แต่ละรายการแสดงถึงบล็อกข้อความสี่เหลี่ยมซึ่งมีวัตถุ [`VisionTextLine`][VisionTextLine] เป็นศูนย์หรือมากกว่านั้น ออบเจ็กต์ `VisionTextLine` แต่ละรายการมีออบเจ็กต์ [`VisionTextElement`][VisionTextElement] เป็นศูนย์หรือมากกว่า ซึ่งเป็นตัวแทนของคำและเอนทิตีที่มีลักษณะคล้ายคำ (วันที่ ตัวเลข และอื่นๆ) สำหรับออบเจ็กต์ `VisionTextBlock`, `VisionTextLine` และ `VisionTextElement` แต่ละรายการ คุณสามารถทำให้ข้อความเป็นที่รู้จักในภูมิภาคและพิกัดขอบเขตของภูมิภาคได้ ตัวอย่างเช่น:

สวิฟท์

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

วัตถุประสงค์-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

เคล็ดลับในการปรับปรุงประสิทธิภาพแบบเรียลไทม์

หากคุณต้องการใช้รุ่นบนอุปกรณ์เพื่อจดจำข้อความในแอปพลิเคชันแบบเรียลไทม์ ให้ปฏิบัติตามคำแนะนำเหล่านี้เพื่อให้ได้อัตราเฟรมที่ดีที่สุด:

คันเร่งเรียกไปยังโปรแกรมจดจำข้อความ หากมีเฟรมวิดีโอใหม่ในขณะที่ตัวจดจำข้อความกำลังทำงานอยู่ ให้ปล่อยเฟรมนั้นทิ้ง
หากคุณใช้เอาท์พุตของเครื่องรู้จำข้อความเพื่อวางซ้อนกราฟิกบนรูปภาพที่ป้อน อันดับแรกรับผลลัพธ์จาก ML Kit จากนั้นเรนเดอร์รูปภาพและโอเวอร์เลย์ในขั้นตอนเดียว การทำเช่นนี้ คุณจะเรนเดอร์ไปยังพื้นผิวจอแสดงผลเพียงครั้งเดียวสำหรับแต่ละเฟรมอินพุต ดูตัวอย่างคลาส PreviewOverlayView และ FIRDetectionOverlayView ในแอปตัวอย่าง Showcase
ลองถ่ายภาพด้วยความละเอียดที่ต่ำกว่า อย่างไรก็ตาม โปรดคำนึงถึงข้อกำหนดด้านมิติรูปภาพของ API นี้ด้วย

ขั้นตอนถัดไป

ก่อนที่คุณจะปรับใช้แอปที่ใช้ Cloud API ในการผลิต คุณควรดำเนินการขั้นตอนเพิ่มเติมเพื่อ ป้องกันและลดผลกระทบจากการเข้าถึง API ที่ไม่ได้รับอนุญาต

จดจำข้อความในรูปของเอกสาร

หากต้องการจดจำข้อความของเอกสาร ให้กำหนดค่าและเรียกใช้ตัวจดจำข้อความเอกสารบนคลาวด์ตามที่อธิบายไว้ด้านล่าง

API การรู้จำข้อความในเอกสารที่อธิบายไว้ด้านล่าง มอบอินเทอร์เฟซที่มีจุดประสงค์เพื่อให้สะดวกยิ่งขึ้นสำหรับการทำงานกับรูปภาพของเอกสาร อย่างไรก็ตาม หากคุณต้องการอินเทอร์เฟซที่มาจาก API ข้อความแบบกระจาย คุณสามารถใช้อินเทอร์เฟซดังกล่าวแทนในการสแกนเอกสารโดยการกำหนดค่าตัวจดจำข้อความบนคลาวด์เพื่อ ใช้โมเดลข้อความหนาแน่น

หากต้องการใช้ API การจดจำข้อความในเอกสาร:

1. เรียกใช้โปรแกรมจดจำข้อความ

ส่งรูปภาพเป็น UIImage หรือ CMSampleBufferRef ไปยังเมธอดกระบวนการของ VisionDocumentTextRecognizer process(_:completion:)

รับอินสแตนซ์ของ VisionDocumentTextRecognizer โดยการเรียก cloudDocumentTextRecognizer :

สวิฟท์

let vision = Vision.vision()
let textRecognizer = vision.cloudDocumentTextRecognizer()

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
let options = VisionCloudDocumentTextRecognizerOptions()
options.languageHints = ["en", "hi"]
let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)

วัตถุประสงค์-C

FIRVision *vision = [FIRVision vision];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];

// Or, to provide language hints to assist with language detection:
// See https://cloud.google.com/vision/docs/languages for supported languages
FIRVisionCloudDocumentTextRecognizerOptions *options =
        [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
options.languageHints = @[@"en", @"hi"];
FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];

สร้างวัตถุ VisionImage โดยใช้ UIImage หรือ CMSampleBufferRef

วิธีใช้ UIImage :

หากจำเป็น ให้หมุนรูปภาพเพื่อให้คุณสมบัติ imageOrientation เป็น .up
สร้างวัตถุ VisionImage โดยใช้ UIImage ที่หมุนอย่างถูกต้อง อย่าระบุข้อมูลเมตาการหมุนเวียนใดๆ ต้องใช้ค่าเริ่มต้น . .topLeft
สวิฟท์
```
let image = VisionImage(image: uiImage)
```
วัตถุประสงค์-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
```

วิธีใช้ CMSampleBufferRef :

เพื่อให้ได้การวางแนวของภาพ:

สวิฟท์

func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

วัตถุประสงค์-C

- (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

จากนั้นสร้างวัตถุข้อมูลเมตา:

สวิฟท์

let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

วัตถุประสงค์-C

FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];

สร้างวัตถุ VisionImage โดยใช้วัตถุ CMSampleBufferRef และข้อมูลเมตาการหมุน:
สวิฟท์
```
let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata
```
วัตถุประสงค์-C
```
FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;
```

จากนั้นส่งภาพไปยังเมธอด process(_:completion:) :

สวิฟท์

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // ...
    return
  }

  // Recognized text
}

วัตถุประสงค์-C

[textRecognizer processImage:image
                  completion:^(FIRVisionDocumentText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // ...
    return;
  }

    // Recognized text
}];

2. แยกข้อความออกจากกลุ่มข้อความที่รู้จัก

หากการดำเนินการรู้จำข้อความสำเร็จ จะส่งคืนออบเจ็กต์ VisionDocumentText ออบเจ็กต์ VisionDocumentText ประกอบด้วยข้อความทั้งหมดที่รู้จักในภาพและลำดับชั้นของออบเจ็กต์ที่สะท้อนถึงโครงสร้างของเอกสารที่รู้จัก:

สำหรับอ็อบเจ็กต์ VisionDocumentTextBlock , VisionDocumentTextParagraph , VisionDocumentTextWord และ VisionDocumentTextSymbol แต่ละรายการ คุณสามารถรับข้อความที่รับรู้ในภูมิภาคและพิกัดขอบเขตของขอบเขตได้

ตัวอย่างเช่น:

สวิฟท์

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

วัตถุประสงค์-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

ขั้นตอนถัดไป

ก่อนที่คุณจะปรับใช้แอปที่ใช้ Cloud API ในการผลิต คุณควรดำเนินการขั้นตอนเพิ่มเติมเพื่อ ป้องกันและลดผลกระทบจากการเข้าถึง API ที่ไม่ได้รับอนุญาต