Możesz używać systemów uczących się Firebase do rozpoznawania tekstu na obrazach. Firebase ML ma zarówno uniwersalny interfejs API odpowiedni do rozpoznawania tekstu na obrazach, np. tekstu na znaku, jak i interfejs API zoptymalizowany pod kątem rozpoznawania tekstu dokumentów.
Zanim zaczniesz
-
Jeśli nie masz jeszcze w aplikacji Firebase dodanego do aplikacji, wykonaj czynności opisane w przewodniku dla początkujących.
- Po otwarciu projektu aplikacji przejdź w Xcode do File > Add Packages (Plik > Dodaj pakiety).
- Gdy pojawi się prośba, dodaj repozytorium SDK platform Apple Platform SDK Firebase:
- Wybierz bibliotekę ML Firebase.
- Dodaj flagę
-ObjC
do sekcji Inne flagi łączące w ustawieniach kompilacji celu. - Po zakończeniu Xcode automatycznie rozpocznie rozpoznawanie i pobieranie zależności w tle.
- W aplikacji zaimportuj Firebase:
Swift
import FirebaseMLModelDownloader
Objective-C
@import FirebaseMLModelDownloader;
-
Jeśli nie masz jeszcze włączonych w swoim projekcie interfejsów API działających w chmurze, zrób to teraz:
- Otwórz stronę interfejsów API Firebase ML w konsoli Firebase.
-
Jeśli w swoim projekcie nie korzystasz jeszcze z abonamentu Blaze, kliknij Przejdź na wyższą wersję. Prośba o przejście na wyższą wersję pojawi się tylko wtedy, gdy Twój projekt nie jest objęty abonamentem Blaze.
Tylko projekty na poziomie Blaze mogą korzystać z interfejsów API działających w chmurze.
- Jeśli interfejsy API działające w chmurze nie są jeszcze włączone, kliknij Włącz interfejsy API działające w chmurze.
Użyj menedżera pakietów Swift, aby zainstalować zależności Firebase i nimi zarządzać.
https://github.com/firebase/firebase-ios-sdk.git
Następnie skonfiguruj w aplikacji:
Teraz możesz zacząć rozpoznawać tekst na obrazach.
Wytyczne dotyczące obrazu wejściowego
-
Aby systemy uczące się Firebase mogły dokładnie rozpoznawać tekst, obrazy wejściowe muszą zawierać tekst reprezentowany przez wystarczającą ilość danych pikseli. W przypadku tekstu w alfabecie łacińskim każdy znak powinien mieć co najmniej 16 x 16 pikseli. W przypadku tekstu w języku chińskim, japońskim i koreańskim każdy znak powinien mieć 24 x 24 piksele. W przypadku wszystkich języków format znaków większych niż 24 x 24 piksele zwykle nie ma większej dokładności.
Na przykład obraz o wymiarach 640 x 480 może dobrze sprawdzić się do zeskanowania wizytówki, która zajmuje całą szerokość obrazu. Aby zeskanować dokument wydrukowany na papierze w formacie literowym, wymagany może być obraz o rozdzielczości 720 x 1280 pikseli.
-
Słaba ostrość obrazu może obniżyć dokładność rozpoznawania tekstu. Jeśli nie uzyskujesz akceptowalnych wyników, poproś użytkownika o ponowne przechwycenie obrazu.
Rozpoznawanie tekstu w obrazach
Aby rozpoznać tekst na obrazie, uruchom moduł rozpoznawania tekstu w sposób opisany poniżej.
1. Uruchom moduł rozpoznawania tekstu
Przekaż obraz jakoUIImage
lub CMSampleBufferRef
do metody process(_:completion:)
VisionTextRecognizer
:
- Pobierz instancję
VisionTextRecognizer
, wywołując metodęcloudTextRecognizer
:Swift
let vision = Vision.vision() let textRecognizer = vision.cloudTextRecognizer() // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages let options = VisionCloudTextRecognizerOptions() options.languageHints = ["en", "hi"] let textRecognizer = vision.cloudTextRecognizer(options: options)
Objective-C
FIRVision *vision = [FIRVision vision]; FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer]; // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FIRVisionCloudTextRecognizerOptions *options = [[FIRVisionCloudTextRecognizerOptions alloc] init]; options.languageHints = @[@"en", @"hi"]; FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
-
Aby można było wywołać Cloud Vision, obraz musi być sformatowany jako ciąg zakodowany w formacie base64. Aby przetworzyć
UIImage
:Swift
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
-
Następnie przekaż obraz do metody
process(_:completion:)
:Swift
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // ... return } // Recognized text }
Objective-C
[textRecognizer processImage:image completion:^(FIRVisionText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // ... return; } // Recognized text }];
2. Wyodrębnianie tekstu z bloków rozpoznanego tekstu
Jeśli rozpoznawanie tekstu się powiedzie, zwróci obiektVisionText
. Obiekt VisionText
zawiera pełny tekst rozpoznany na obrazie i 0 lub więcej obiektów VisionTextBlock
.
Każdy element VisionTextBlock
to prostokątny blok tekstu, który zawiera co najmniej 0 obiektów VisionTextLine
. Każdy obiekt VisionTextLine
zawiera co najmniej 0 obiektów VisionTextElement
, które reprezentują słowa i obiekty słowne (daty, liczby itd.).
Dla każdego obiektu VisionTextBlock
, VisionTextLine
i VisionTextElement
można uzyskać tekst rozpoznany w regionie oraz jego współrzędne graniczne.
Przykład:
Swift
let resultText = result.text for block in result.blocks { let blockText = block.text let blockConfidence = block.confidence let blockLanguages = block.recognizedLanguages let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for line in block.lines { let lineText = line.text let lineConfidence = line.confidence let lineLanguages = line.recognizedLanguages let lineCornerPoints = line.cornerPoints let lineFrame = line.frame for element in line.elements { let elementText = element.text let elementConfidence = element.confidence let elementLanguages = element.recognizedLanguages let elementCornerPoints = element.cornerPoints let elementFrame = element.frame } } }
Objective-C
NSString *resultText = result.text; for (FIRVisionTextBlock *block in result.blocks) { NSString *blockText = block.text; NSNumber *blockConfidence = block.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages; NSArray<NSValue *> *blockCornerPoints = block.cornerPoints; CGRect blockFrame = block.frame; for (FIRVisionTextLine *line in block.lines) { NSString *lineText = line.text; NSNumber *lineConfidence = line.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages; NSArray<NSValue *> *lineCornerPoints = line.cornerPoints; CGRect lineFrame = line.frame; for (FIRVisionTextElement *element in line.elements) { NSString *elementText = element.text; NSNumber *elementConfidence = element.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages; NSArray<NSValue *> *elementCornerPoints = element.cornerPoints; CGRect elementFrame = element.frame; } } }
Dalsze kroki
- Przed wdrożeniem w środowisku produkcyjnym aplikacji, która korzysta z interfejsu Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.
Rozpoznawanie tekstu na obrazach dokumentów
Aby rozpoznać tekst dokumentu, skonfiguruj i uruchom moduł rozpoznawania tekstu dokumentu w sposób opisany poniżej.
Opisany poniżej interfejs API rozpoznawania tekstu dokumentów zapewnia interfejs, który ma być wygodniejszy w pracy z obrazami dokumentów. Jeśli jednak wolisz interfejs udostępniany przez interfejs API rozproszonego tekstu, możesz go używać zamiast skanować dokumenty. W tym celu skonfiguruj moduł rozpoznawania tekstu w chmurze pod kątem używania modelu gęstego tekstu.
Aby użyć interfejsu API rozpoznawania tekstu dokumentów:
1. Uruchom moduł rozpoznawania tekstu
Przekaż obraz jakoUIImage
lub CMSampleBufferRef
do metody process(_:completion:)
VisionDocumentTextRecognizer
:
- Pobierz instancję
VisionDocumentTextRecognizer
, wywołując metodęcloudDocumentTextRecognizer
:Swift
let vision = Vision.vision() let textRecognizer = vision.cloudDocumentTextRecognizer() // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages let options = VisionCloudDocumentTextRecognizerOptions() options.languageHints = ["en", "hi"] let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)
Objective-C
FIRVision *vision = [FIRVision vision]; FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer]; // Or, to provide language hints to assist with language detection: // See https://cloud.google.com/vision/docs/languages for supported languages FIRVisionCloudDocumentTextRecognizerOptions *options = [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init]; options.languageHints = @[@"en", @"hi"]; FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];
-
Aby można było wywołać Cloud Vision, obraz musi być sformatowany jako ciąg zakodowany w formacie base64. Aby przetworzyć
UIImage
:Swift
guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
-
Następnie przekaż obraz do metody
process(_:completion:)
:Swift
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // ... return } // Recognized text }
Objective-C
[textRecognizer processImage:image completion:^(FIRVisionDocumentText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // ... return; } // Recognized text }];
2. Wyodrębnianie tekstu z bloków rozpoznanego tekstu
Jeśli rozpoznawanie tekstu się powiedzie, zwróci obiektVisionDocumentText
. Obiekt VisionDocumentText
zawiera pełny tekst rozpoznany na obrazie oraz hierarchię obiektów, która odzwierciedla strukturę rozpoznanego dokumentu:
Dla każdego obiektu VisionDocumentTextBlock
, VisionDocumentTextParagraph
, VisionDocumentTextWord
i VisionDocumentTextSymbol
można uzyskać tekst rozpoznany w regionie oraz współrzędne ograniczające regionu.
Przykład:
Swift
let resultText = result.text for block in result.blocks { let blockText = block.text let blockConfidence = block.confidence let blockRecognizedLanguages = block.recognizedLanguages let blockBreak = block.recognizedBreak let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for paragraph in block.paragraphs { let paragraphText = paragraph.text let paragraphConfidence = paragraph.confidence let paragraphRecognizedLanguages = paragraph.recognizedLanguages let paragraphBreak = paragraph.recognizedBreak let paragraphCornerPoints = paragraph.cornerPoints let paragraphFrame = paragraph.frame for word in paragraph.words { let wordText = word.text let wordConfidence = word.confidence let wordRecognizedLanguages = word.recognizedLanguages let wordBreak = word.recognizedBreak let wordCornerPoints = word.cornerPoints let wordFrame = word.frame for symbol in word.symbols { let symbolText = symbol.text let symbolConfidence = symbol.confidence let symbolRecognizedLanguages = symbol.recognizedLanguages let symbolBreak = symbol.recognizedBreak let symbolCornerPoints = symbol.cornerPoints let symbolFrame = symbol.frame } } } }
Objective-C
NSString *resultText = result.text; for (FIRVisionDocumentTextBlock *block in result.blocks) { NSString *blockText = block.text; NSNumber *blockConfidence = block.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages; FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak; CGRect blockFrame = block.frame; for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) { NSString *paragraphText = paragraph.text; NSNumber *paragraphConfidence = paragraph.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages; FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak; CGRect paragraphFrame = paragraph.frame; for (FIRVisionDocumentTextWord *word in paragraph.words) { NSString *wordText = word.text; NSNumber *wordConfidence = word.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages; FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak; CGRect wordFrame = word.frame; for (FIRVisionDocumentTextSymbol *symbol in word.symbols) { NSString *symbolText = symbol.text; NSNumber *symbolConfidence = symbol.confidence; NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages; FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak; CGRect symbolFrame = symbol.frame; } } } }
Dalsze kroki
- Przed wdrożeniem w środowisku produkcyjnym aplikacji, która korzysta z interfejsu Cloud API, wykonaj dodatkowe czynności, aby zapobiec skutkom nieautoryzowanego dostępu przez interfejs API i zminimalizować jego skutki.