Bezpieczne rozpoznawanie tekstu w obrazach dzięki Cloud Vision przy użyciu uwierzytelniania i funkcji Firebase na platformach Apple

Aby wywołać interfejs Google Cloud API z poziomu aplikacji, musisz utworzyć pośredni interfejs REST API, który będzie obsługiwać autoryzację i chronić tajne wartości, takie jak klucze interfejsu API. Następnie musisz napisać kod w aplikacji mobilnej, aby uwierzytelnić się w tej usłudze pośredniej i komunikować się z nią.

Jednym ze sposobów utworzenia tego interfejsu API (typu) REST jest użycie Uwierzytelniania Firebase i Funkcji, które zapewniają zarządzaną, bezserwerową bramę do interfejsów Google Cloud API, która obsługuje uwierzytelnianie i może być wywoływana z aplikacji mobilnej za pomocą gotowych pakietów SDK.

Z tego przewodnika dowiesz się, jak używać tej metody do wywoływania interfejsu Cloud Vision API z poziomu aplikacji. Ta metoda umożliwi wszystkim uwierzytelnionym użytkownikom dostęp do płatnych usług Cloud Vision za pomocą Twojego projektu w chmurze, więc zanim przejdziesz dalej, zastanów się, czy ten mechanizm uwierzytelniania jest wystarczający w Twoim przypadku użycia.

Zanim zaczniesz

Skonfiguruj projekt

Jeśli nie masz jeszcze dodanej aplikacji do Firebase, zrób to, wykonując czynności opisane w przewodniku dla początkujących.

Do instalacji zależności Firebase i do zarządzania nimi możesz używać menedżera pakietów Swift.

  1. Po otwarciu projektu aplikacji wybierz w Xcode kolejno File (Plik) > Add Packages (Dodaj pakiety).
  2. Gdy pojawi się prośba, dodaj repozytorium pakietu SDK Firebase na platformy Apple:
    3.   https://github.com/firebase/firebase-ios-sdk.git
  3. Wybierz bibliotekę Firebase ML.
  4. Dodaj flagę -ObjC do sekcji Other Linker Flags (Inne flagi linkera) w ustawieniach kompilacji miejsca docelowego.
  5. Gdy skończysz, Xcode zacznie automatycznie wyszukiwać i pobierać Twoje zależności w tle.

Następnie skonfiguruj aplikację:

  1. W aplikacji zaimportuj Firebase:

    Swift

    import FirebaseMLModelDownloader

    Objective-C

    @import FirebaseMLModelDownloader;

Jeszcze kilka kroków konfiguracji i wszystko będzie gotowe:

  1. Jeśli nie masz jeszcze włączonych interfejsów API opartych na chmurze w swoim projekcie, zrób to teraz:

    1. Otwórz stronę interfejsów Firebase ML API w konsoli Firebase.

    2. Jeśli nie masz jeszcze projektu z planem taryfowym Blaze z płatnością według wykorzystania, kliknij Upgrade (Uaktualnij), aby to zrobić. (Prośba o uaktualnienie pojawi się tylko wtedy, gdy Twój projekt nie jest objęty planem taryfowym Blaze).

      Tylko projekty z planem taryfowym Blaze mogą korzystać z interfejsów API opartych na chmurze.

    3. Jeśli interfejsy API oparte na chmurze nie są jeszcze włączone, kliknij Enable Cloud-based APIs (Włącz interfejsy API oparte na chmurze).
  2. Skonfiguruj dotychczasowe klucze interfejsu Firebase API, aby uniemożliwić dostęp do interfejsu Cloud Vision API:
    1. Otwórz stronę Dane logowania w konsoli Cloud.
    2. W przypadku każdego klucza interfejsu API na liście otwórz widok edycji i w sekcji Ograniczenia klucza dodaj do listy wszystkie dostępne interfejsy API z wyjątkiem interfejsu Cloud Vision API.

Wdrażanie funkcji wywoływanej

Następnie wdróż funkcję w Cloud Functions, która będzie służyć do łączenia aplikacji z interfejsem Cloud Vision API. W repozy0toryum functions-samples znajdziesz przykład , z którego możesz skorzystać.

Domyślnie dostęp do interfejsu Cloud Vision API za pomocą tej funkcji będzie możliwy tylko dla uwierzytelnionych użytkowników aplikacji. Możesz zmodyfikować funkcję, aby spełniała inne wymagania.

Aby wdrożyć funkcję:

  1. Sklonuj lub pobierz repozytorium functions-samples i przejdź do katalogu Node-1st-gen/vision-annotate-image: 
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. Zainstaluj zależności: 
    cd functions
npm install
cd ..
  3. Jeśli nie masz wiersza poleceń Firebase, zainstaluj go.
  4. Zainicjuj projekt w Firebase w vision-annotate-image katalogu. Gdy pojawi się prośba, wybierz projekt z listy. 
    firebase init
  5. Wdróż funkcję: 
    firebase deploy --only functions:annotateImage

Dodawanie uwierzytelniania Firebase do aplikacji

Wdrożona powyżej funkcja wywoływana będzie odrzucać wszystkie żądania od nieuwierzytelnionych użytkowników aplikacji. Jeśli jeszcze tego nie zrobisz, musisz dodać uwierzytelnianie Firebase do aplikacji.

Dodawanie do aplikacji niezbędnych zależności

Do instalacji biblioteki Cloud Functions dla Firebase możesz używać menedżera pakietów Swift.

Możesz teraz zacząć rozpoznawać tekst na obrazach.

1. Przygotowywanie obrazu wejściowego

Aby wywołać Cloud Vision, obraz musi być sformatowany jako ciąg tekstowy z kodowaniem Base64. Aby przetworzyć UIImage:

Swift

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

Objective-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Wywoływanie funkcji wywoływanej w celu rozpoznania tekstu

Aby rozpoznać punkty orientacyjne na obrazie, wywołaj funkcję wywoływaną, przekazując a żądanie JSON Cloud Vision.

  1. Najpierw zainicjuj instancję Cloud Functions:

    Swift

    lazy var functions = Functions.functions()

    Objective-C

    @property(strong, nonatomic) FIRFunctions *functions;

  2. Utwórz żądanie. Interfejs Cloud Vision API obsługuje 2 typy wykrywania tekstu: TEXT_DETECTION i DOCUMENT_TEXT_DETECTION. Różnice między tymi 2 przypadkami użycia znajdziesz w dokumentacji OCR Cloud Vision.

    Swift

    let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["type": "TEXT_DETECTION"],
  "imageContext": ["languageHints": ["en"]]
]

    Objective-C

    NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"type": @"TEXT_DETECTION"},
  @"imageContext": @{@"languageHints": @[@"en"]}
};

  3. Na koniec wywołaj funkcję:

    Swift

    do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

    Objective-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3. Wyodrębnianie tekstu z bloków rozpoznanego tekstu

Jeśli operacja rozpoznawania tekstu się powiedzie, w wyniku zadania zostanie zwrócona odpowiedź JSON w formacie BatchAnnotateImagesResponse. Adnotacje tekstowe znajdziesz w obiekcie fullTextAnnotation.

Rozpoznany tekst możesz uzyskać jako ciąg tekstowy w polu text. Przykład:

Swift

let annotation = result.flatMap { $0.data as? [String: Any] }
    .flatMap { $0["fullTextAnnotation"] }
    .flatMap { $0 as? [String: Any] }
guard let annotation = annotation else { return }

if let text = annotation["text"] as? String {
  print("Complete annotation: \(text)")
}

Objective-C

NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);

Możesz też uzyskać informacje dotyczące konkretnych regionów obrazu. W przypadku każdego block, paragraph, word i symbol możesz uzyskać tekst rozpoznany w regionie oraz współrzędne ograniczające region. Przykład:

Swift

guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
  var pageText = ""
  guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
  for block in blocks {
    var blockText = ""
    guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
    for paragraph in paragraphs {
      var paragraphText = ""
      guard let words = paragraph["words"] as? [[String: Any]] else { continue }
      for word in words {
        var wordText = ""
        guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
        for symbol in symbols {
          let text = symbol["text"] as? String ?? ""
          let confidence = symbol["confidence"] as? Float ?? 0.0
          wordText += text
          print("Symbol text: \(text) (confidence: \(confidence)%n")
        }
        let confidence = word["confidence"] as? Float ?? 0.0
        print("Word text: \(wordText) (confidence: \(confidence)%n%n")
        let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
        print("Word bounding box: \(boundingBox.description)%n")
        paragraphText += wordText
      }
      print("%nParagraph: %n\(paragraphText)%n")
      let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
      print("Paragraph bounding box: \(boundingBox)%n")
      let confidence = paragraph["confidence"] as? Float ?? 0.0
      print("Paragraph Confidence: \(confidence)%n")
      blockText += paragraphText
    }
    pageText += blockText
  }
}

Objective-C

for (NSDictionary *page in annotation[@"pages"]) {
  NSMutableString *pageText = [NSMutableString new];
  for (NSDictionary *block in page[@"blocks"]) {
    NSMutableString *blockText = [NSMutableString new];
    for (NSDictionary *paragraph in block[@"paragraphs"]) {
      NSMutableString *paragraphText = [NSMutableString new];
      for (NSDictionary *word in paragraph[@"words"]) {
        NSMutableString *wordText = [NSMutableString new];
        for (NSDictionary *symbol in word[@"symbols"]) {
          NSString *text = symbol[@"text"];
          [wordText appendString:text];
          NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
        }
        NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
        NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
        [paragraphText appendString:wordText];
      }
      NSLog(@"\nParagraph: \n%@\n", paragraphText);
      NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
      NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
      [blockText appendString:paragraphText];
    }
    [pageText appendString:blockText];
  }
}