Rozpoznawanie tekstu w obrazach za pomocą Firebase ML w iOS

Na tej stronie opisujemy starszą wersję rozpoznawania tekstu w obrazach za pomocą wycofanego pakietu SDK Firebase ML Vision. Możesz też wywołać interfejsy Cloud Vision API za pomocą uwierzytelniania Firebase i funkcji wywoływanych przez funkcje, aby zezwolić na dostęp do interfejsu API tylko użytkownikom zalogowanym w Twojej aplikacji.

Możesz używać systemów uczących się Firebase do rozpoznawania tekstu na obrazach. Firebase ML ma zarówno uniwersalny interfejs API odpowiedni do rozpoznawania tekstu na obrazach, np. tekstu na znaku, jak i interfejs API zoptymalizowany pod kątem rozpoznawania tekstu dokumentów.

Korzystanie z interfejsów Cloud Vision API podlega Umowie licencyjnej Google Cloud Platform i Szczegółowym warunkom korzystania z usługi oraz podlega odpowiednim opłatom. Informacje rozliczeniowe znajdziesz na stronie Ceny.

Szukasz funkcji rozpoznawania tekstu na urządzeniu? Wypróbuj samodzielną bibliotekę ML Kit.

Zanim zaczniesz

Jeśli nie masz jeszcze w aplikacji Firebase dodanego do aplikacji, wykonaj czynności opisane w przewodniku dla początkujących.

Użyj menedżera pakietów Swift, aby zainstalować zależności Firebase i nimi zarządzać.

Z naszego przewodnika instalacji dowiesz się więcej o różnych sposobach dodawania pakietów SDK Firebase do projektu Apple, w tym bezpośredniego importowania platform i używania CocoaPods.
1. Po otwarciu projektu aplikacji przejdź w Xcode do File > Add Packages (Plik > Dodaj pakiety).
2. Gdy pojawi się prośba, dodaj repozytorium SDK platform Apple Platform SDK Firebase:

  https://github.com/firebase/firebase-ios-sdk.git

Uwaga: nowe projekty powinny używać domyślnej (najnowszej) wersji pakietu SDK, ale w razie potrzeby możesz wybrać starszą wersję.
3. Wybierz bibliotekę ML Firebase.
4. Dodaj flagę -ObjC do sekcji Inne flagi łączące w ustawieniach kompilacji celu.
5. Po zakończeniu Xcode automatycznie rozpocznie rozpoznawanie i pobieranie zależności w tle.

Następnie skonfiguruj w aplikacji:

1. W aplikacji zaimportuj Firebase:

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

1. Jeśli nie masz jeszcze włączonych w swoim projekcie interfejsów API działających w chmurze, zrób to teraz:

   1. Otwórz stronę interfejsów API Firebase ML w konsoli Firebase.

   2. Jeśli w swoim projekcie nie korzystasz jeszcze z abonamentu Blaze, kliknij Przejdź na wyższą wersję. Prośba o przejście na wyższą wersję pojawi się tylko wtedy, gdy Twój projekt nie jest objęty abonamentem Blaze.

      Tylko projekty na poziomie Blaze mogą korzystać z interfejsów API działających w chmurze.

   3. Jeśli interfejsy API działające w chmurze nie są jeszcze włączone, kliknij Włącz interfejsy API działające w chmurze.
   Przed wdrożeniem w środowisku produkcyjnym aplikacji, która wykorzystuje Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.

Teraz możesz zacząć rozpoznawać tekst na obrazach.

Wytyczne dotyczące obrazu wejściowego

• Aby systemy uczące się Firebase mogły dokładnie rozpoznawać tekst, obrazy wejściowe muszą zawierać tekst reprezentowany przez wystarczającą ilość danych pikseli. W przypadku tekstu w alfabecie łacińskim każdy znak powinien mieć co najmniej 16 x 16 pikseli. W przypadku tekstu w języku chińskim, japońskim i koreańskim każdy znak powinien mieć 24 x 24 piksele. W przypadku wszystkich języków format znaków większych niż 24 x 24 piksele zwykle nie ma większej dokładności.

  Na przykład obraz o wymiarach 640 x 480 może dobrze sprawdzić się do zeskanowania wizytówki, która zajmuje całą szerokość obrazu. Aby zeskanować dokument wydrukowany na papierze w formacie literowym, wymagany może być obraz o rozdzielczości 720 x 1280 pikseli.

• Słaba ostrość obrazu może obniżyć dokładność rozpoznawania tekstu. Jeśli nie uzyskujesz akceptowalnych wyników, poproś użytkownika o ponowne przechwycenie obrazu.

---

Rozpoznawanie tekstu w obrazach

Aby rozpoznać tekst na obrazie, uruchom moduł rozpoznawania tekstu w sposób opisany poniżej.

1. Uruchom moduł rozpoznawania tekstu

Przekaż obraz jako UIImage lub CMSampleBufferRef do metody process(_:completion:) VisionTextRecognizer:

1. Pobierz instancję VisionTextRecognizer, wywołując metodę cloudTextRecognizer:

   Swift

   let vision = Vision.vision()
   let textRecognizer = vision.cloudTextRecognizer()
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   let options = VisionCloudTextRecognizerOptions()
   options.languageHints = ["en", "hi"]
   let textRecognizer = vision.cloudTextRecognizer(options: options)
   

   Objective-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   FIRVisionCloudTextRecognizerOptions *options =
           [[FIRVisionCloudTextRecognizerOptions alloc] init];
   options.languageHints = @[@"en", @"hi"];
   FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
   

2. Aby można było wywołać Cloud Vision, obraz musi być sformatowany jako ciąg zakodowany w formacie base64. Aby przetworzyć UIImage:

   Swift

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Objective-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. Następnie przekaż obraz do metody process(_:completion:):

   Swift

   textRecognizer.process(visionImage) { result, error in
     guard error == nil, let result = result else {
       // ...
       return
     }
   
     // Recognized text
   }
   

   Objective-C

   [textRecognizer processImage:image
                     completion:^(FIRVisionText *_Nullable result,
                                  NSError *_Nullable error) {
     if (error != nil || result == nil) {
       // ...
       return;
     }
   
     // Recognized text
   }];
   

2. Wyodrębnianie tekstu z bloków rozpoznanego tekstu

Jeśli rozpoznawanie tekstu się powiedzie, zwróci obiekt VisionText. Obiekt VisionText zawiera pełny tekst rozpoznany na obrazie i 0 lub więcej obiektów VisionTextBlock.

Każdy element VisionTextBlock to prostokątny blok tekstu, który zawiera co najmniej 0 obiektów VisionTextLine. Każdy obiekt VisionTextLine zawiera co najmniej 0 obiektów VisionTextElement, które reprezentują słowa i obiekty słowne (daty, liczby itd.).

Dla każdego obiektu VisionTextBlock, VisionTextLine i VisionTextElement można uzyskać tekst rozpoznany w regionie oraz jego współrzędne graniczne.

Przykład:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

Dalsze kroki

• Przed wdrożeniem w środowisku produkcyjnym aplikacji, która korzysta z interfejsu Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.

---

Rozpoznawanie tekstu na obrazach dokumentów

Aby rozpoznać tekst dokumentu, skonfiguruj i uruchom moduł rozpoznawania tekstu dokumentu w sposób opisany poniżej.

Opisany poniżej interfejs API rozpoznawania tekstu dokumentów zapewnia interfejs, który ma być wygodniejszy w pracy z obrazami dokumentów. Jeśli jednak wolisz interfejs udostępniany przez interfejs API rozproszonego tekstu, możesz go używać zamiast skanować dokumenty. W tym celu skonfiguruj moduł rozpoznawania tekstu w chmurze pod kątem używania modelu gęstego tekstu.

Aby użyć interfejsu API rozpoznawania tekstu dokumentów:

1. Uruchom moduł rozpoznawania tekstu

Przekaż obraz jako UIImage lub CMSampleBufferRef do metody process(_:completion:) VisionDocumentTextRecognizer:

1. Pobierz instancję VisionDocumentTextRecognizer, wywołując metodę cloudDocumentTextRecognizer:

   Swift

   let vision = Vision.vision()
   let textRecognizer = vision.cloudDocumentTextRecognizer()
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   let options = VisionCloudDocumentTextRecognizerOptions()
   options.languageHints = ["en", "hi"]
   let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)
   

   Objective-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   FIRVisionCloudDocumentTextRecognizerOptions *options =
           [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
   options.languageHints = @[@"en", @"hi"];
   FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];
   

2. Aby można było wywołać Cloud Vision, obraz musi być sformatowany jako ciąg zakodowany w formacie base64. Aby przetworzyć UIImage:

   Swift

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Objective-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. Następnie przekaż obraz do metody process(_:completion:):

   Swift

   textRecognizer.process(visionImage) { result, error in
     guard error == nil, let result = result else {
       // ...
       return
     }
   
     // Recognized text
   }
   

   Objective-C

   [textRecognizer processImage:image
                     completion:^(FIRVisionDocumentText *_Nullable result,
                                  NSError *_Nullable error) {
     if (error != nil || result == nil) {
       // ...
       return;
     }
   
       // Recognized text
   }];
   

2. Wyodrębnianie tekstu z bloków rozpoznanego tekstu

Jeśli rozpoznawanie tekstu się powiedzie, zwróci obiekt VisionDocumentText. Obiekt VisionDocumentText zawiera pełny tekst rozpoznany na obrazie oraz hierarchię obiektów, która odzwierciedla strukturę rozpoznanego dokumentu:

• VisionDocumentTextBlock
• VisionDocumentTextParagraph
• VisionDocumentTextWord
• VisionDocumentTextSymbol

Dla każdego obiektu VisionDocumentTextBlock, VisionDocumentTextParagraph, VisionDocumentTextWord i VisionDocumentTextSymbol można uzyskać tekst rozpoznany w regionie oraz współrzędne ograniczające regionu.

Przykład:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

Dalsze kroki

• Przed wdrożeniem w środowisku produkcyjnym aplikacji, która korzysta z interfejsu Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.