Reconhecer texto em imagens com o Firebase ML no iOS

Nesta página, descrevemos uma versão antiga do reconhecimento de texto em imagens usando o SDK do Firebase ML Vision que foi descontinuado. Como alternativa, é possível chamar as APIs do Cloud Vision usando o Firebase Auth e funções chamáveis para permitir que apenas usuários conectados ao seu app acessem a API.

Você pode usar o Firebase ML para reconhecer texto em imagens. O Firebase ML tem uma API de uso geral que reconhece texto em imagens, como o texto de uma placa de rua, e uma API otimizada para reconhecer texto de documentos.

O uso das APIs do Cloud Vision está sujeito ao Contrato de Licença do Google Cloud Platform e aos Termos de Serviço Específicos. Além disso, a cobrança é feita de acordo com essas diretrizes. Para informações de faturamento, consulte a página Preços.

Procurando reconhecimento de texto em dispositivos? Teste a biblioteca autônoma do Kit de ML.

Antes de começar

Se você ainda não adicionou o Firebase ao seu app, siga as etapas no guia de primeiros passos.

Use o Swift Package Manager para instalar e gerenciar as dependências do Firebase.

Acesse nosso guia de instalação e conheça as diferentes maneiras de adicionar SDKs do Firebase ao seu projeto da Apple, incluindo detalhes sobre importação direta de frameworks e uso do CocoaPods.
1. No Xcode, com seu projeto do app aberto, navegue até File > Add Packages.
2. Quando solicitado, adicione o repositório do SDK do Firebase para as plataformas Apple:

  https://github.com/firebase/firebase-ios-sdk

Observação: novos projetos precisam usar a versão padrão (mais recente) do SDK, mas você pode escolher uma mais antiga, se necessário.
3. Escolha a biblioteca do Firebase ML.
4. Quando terminar, o Xcode começará a resolver e fazer o download das dependências em segundo plano automaticamente.

Em seguida, faça algumas configurações no app:

1. Importe o Firebase para seu app:

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

1. Se você ainda não ativou APIs baseadas em nuvem para seu projeto, siga estas etapas:

   1. Abra a página de APIs do Firebase ML no Console do Firebase.

   2. Se você ainda não fez o upgrade do seu projeto para o plano de preços Blaze, clique em Fazer upgrade. Você só vai receber uma mensagem para fazer upgrade se o projeto não estiver no plano Blaze.

      Apenas projetos no nível Blaze podem usar APIs baseadas na nuvem.

   3. Caso as APIs baseadas na nuvem ainda não estejam ativadas, clique em Ativar APIs baseadas na nuvem.
   Antes de implantar em produção um app que usa uma API do Cloud, é preciso seguir mais algumas etapas para evitar e diminuir o impacto do acesso não autorizado às APIs.

Agora você já pode reconhecer texto em imagens.

Diretrizes de imagens de entrada

• Para que o Firebase ML reconheça o texto com precisão, as imagens de entrada devem conter texto representado por dados de pixel suficientes. O ideal para textos em alfabeto romano é que cada caractere tenha uma resolução de pelo menos 16 x 16 pixels. Para textos em chinês, japonês e coreano, cada caractere deve ter uma resolução de 24 x 24 pixels. Para todos os idiomas, geralmente não há melhorias de precisão em usar caracteres maiores que 24 x 24 pixels.

  Por exemplo, uma imagem de 640 x 480 pixels pode funcionar para digitalizar um cartão de visita que ocupe toda a largura da imagem. Para digitalizar um documento impresso em papel de tamanho carta, talvez seja necessária uma imagem de 720 x 1280 pixels.

• O foco inadequado da imagem pode prejudicar a precisão do reconhecimento de texto. Se você não está conseguindo resultados aceitáveis, peça para o usuário recapturar a imagem.

---

Reconhecer texto em imagens

Para reconhecer texto em imagens, execute o reconhecedor de texto conforme descrito abaixo.

1. Executar o reconhecedor de texto

Transmita a imagem como um UIImage ou um CMSampleBufferRef para o método process(_:completion:) do VisionTextRecognizer:

1. Para receber uma instância de VisionTextRecognizer, chame cloudTextRecognizer.

   Swift

   let vision = Vision.vision()
   let textRecognizer = vision.cloudTextRecognizer()
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   let options = VisionCloudTextRecognizerOptions()
   options.languageHints = ["en", "hi"]
   let textRecognizer = vision.cloudTextRecognizer(options: options)
   

   Objective-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizer];
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   FIRVisionCloudTextRecognizerOptions *options =
           [[FIRVisionCloudTextRecognizerOptions alloc] init];
   options.languageHints = @[@"en", @"hi"];
   FIRVisionTextRecognizer *textRecognizer = [vision cloudTextRecognizerWithOptions:options];
   

2. Para chamar o Cloud Vision, a imagem precisa ser formatada como uma string codificada em base64. Para processar um UIImage:

   Swift

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Objective-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. Em seguida, transmita a imagem para o método process(_:completion:):

   Swift

   textRecognizer.process(visionImage) { result, error in
     guard error == nil, let result = result else {
       // ...
       return
     }
   
     // Recognized text
   }
   

   Objective-C

   [textRecognizer processImage:image
                     completion:^(FIRVisionText *_Nullable result,
                                  NSError *_Nullable error) {
     if (error != nil || result == nil) {
       // ...
       return;
     }
   
     // Recognized text
   }];
   

2. Extrair texto de blocos de texto reconhecido

Se a operação de reconhecimento de texto for bem-sucedida, ela retornará um objeto VisionText. Um objeto VisionText contém o texto completo reconhecido na imagem e zero ou mais objetos VisionTextBlock.

Cada VisionTextBlock representa um bloco de texto retangular, que contém zero ou mais objetos VisionTextLine. Cada objeto VisionTextLine contém zero ou mais objetos VisionTextElement, que representam palavras e entidades semelhantes (datas, números e assim por diante).

Para cada objeto VisionTextBlock, VisionTextLine e VisionTextElement, é possível receber o texto reconhecido na região e as coordenadas delimitadoras da região.

Exemplo:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineConfidence = line.confidence
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementConfidence = element.confidence
            let elementLanguages = element.recognizedLanguages
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (FIRVisionTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSNumber *lineConfidence = line.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (FIRVisionTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSNumber *elementConfidence = element.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *elementLanguages = element.recognizedLanguages;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

Próximas etapas

• Antes de implantar em produção um aplicativo que usa uma API do Cloud, é preciso seguir mais algumas etapas para evitar ou atenuar o efeito do acesso não autorizado à API.

---

Reconhecer texto em imagens de documentos

Para reconhecer o texto de um documento, configure e execute o reconhecedor, conforme descrito abaixo.

A API de reconhecimento de texto em documentos descrita abaixo tem uma interface desenvolvida para trabalhar com imagens de documentos. No entanto, se você preferir a interface fornecida pela API de texto em imagem, poderá usá-la para digitalizar documentos. Para fazer isso, basta configurar o reconhecedor de texto em nuvem para usar o modelo de texto denso.

Para usar a API de reconhecimento de texto em documentos, siga estas etapas:

1. Executar o reconhecedor de texto

Transmita a imagem como um UIImage ou um CMSampleBufferRef para o método process(_:completion:) do VisionDocumentTextRecognizer:

1. Para receber uma instância de VisionDocumentTextRecognizer, chame cloudDocumentTextRecognizer.

   Swift

   let vision = Vision.vision()
   let textRecognizer = vision.cloudDocumentTextRecognizer()
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   let options = VisionCloudDocumentTextRecognizerOptions()
   options.languageHints = ["en", "hi"]
   let textRecognizer = vision.cloudDocumentTextRecognizer(options: options)
   

   Objective-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizer];
   
   // Or, to provide language hints to assist with language detection:
   // See https://cloud.google.com/vision/docs/languages for supported languages
   FIRVisionCloudDocumentTextRecognizerOptions *options =
           [[FIRVisionCloudDocumentTextRecognizerOptions alloc] init];
   options.languageHints = @[@"en", @"hi"];
   FIRVisionDocumentTextRecognizer *textRecognizer = [vision cloudDocumentTextRecognizerWithOptions:options];
   

2. Para chamar o Cloud Vision, a imagem precisa ser formatada como uma string codificada em base64. Para processar um UIImage:

   Swift

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Objective-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. Em seguida, transmita a imagem para o método process(_:completion:):

   Swift

   textRecognizer.process(visionImage) { result, error in
     guard error == nil, let result = result else {
       // ...
       return
     }
   
     // Recognized text
   }
   

   Objective-C

   [textRecognizer processImage:image
                     completion:^(FIRVisionDocumentText *_Nullable result,
                                  NSError *_Nullable error) {
     if (error != nil || result == nil) {
       // ...
       return;
     }
   
       // Recognized text
   }];
   

2. Extrair texto de blocos de texto reconhecido

Se a operação de reconhecimento de texto for bem-sucedida, ela retornará um objeto VisionDocumentText. Um objeto VisionDocumentText contém o texto completo reconhecido na imagem e uma hierarquia de objetos que refletem a estrutura do documento reconhecido:

• VisionDocumentTextBlock
• VisionDocumentTextParagraph
• VisionDocumentTextWord
• VisionDocumentTextSymbol

Para cada objeto VisionDocumentTextBlock, VisionDocumentTextParagraph, VisionDocumentTextWord e VisionDocumentTextSymbol, é possível obter o texto reconhecido na região e as coordenadas delimitadoras da região.

Exemplo:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockConfidence = block.confidence
    let blockRecognizedLanguages = block.recognizedLanguages
    let blockBreak = block.recognizedBreak
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for paragraph in block.paragraphs {
        let paragraphText = paragraph.text
        let paragraphConfidence = paragraph.confidence
        let paragraphRecognizedLanguages = paragraph.recognizedLanguages
        let paragraphBreak = paragraph.recognizedBreak
        let paragraphCornerPoints = paragraph.cornerPoints
        let paragraphFrame = paragraph.frame
        for word in paragraph.words {
            let wordText = word.text
            let wordConfidence = word.confidence
            let wordRecognizedLanguages = word.recognizedLanguages
            let wordBreak = word.recognizedBreak
            let wordCornerPoints = word.cornerPoints
            let wordFrame = word.frame
            for symbol in word.symbols {
                let symbolText = symbol.text
                let symbolConfidence = symbol.confidence
                let symbolRecognizedLanguages = symbol.recognizedLanguages
                let symbolBreak = symbol.recognizedBreak
                let symbolCornerPoints = symbol.cornerPoints
                let symbolFrame = symbol.frame
            }
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (FIRVisionDocumentTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSNumber *blockConfidence = block.confidence;
  NSArray<FIRVisionTextRecognizedLanguage *> *blockRecognizedLanguages = block.recognizedLanguages;
  FIRVisionTextRecognizedBreak *blockBreak = block.recognizedBreak;
  CGRect blockFrame = block.frame;
  for (FIRVisionDocumentTextParagraph *paragraph in block.paragraphs) {
    NSString *paragraphText = paragraph.text;
    NSNumber *paragraphConfidence = paragraph.confidence;
    NSArray<FIRVisionTextRecognizedLanguage *> *paragraphRecognizedLanguages = paragraph.recognizedLanguages;
    FIRVisionTextRecognizedBreak *paragraphBreak = paragraph.recognizedBreak;
    CGRect paragraphFrame = paragraph.frame;
    for (FIRVisionDocumentTextWord *word in paragraph.words) {
      NSString *wordText = word.text;
      NSNumber *wordConfidence = word.confidence;
      NSArray<FIRVisionTextRecognizedLanguage *> *wordRecognizedLanguages = word.recognizedLanguages;
      FIRVisionTextRecognizedBreak *wordBreak = word.recognizedBreak;
      CGRect wordFrame = word.frame;
      for (FIRVisionDocumentTextSymbol *symbol in word.symbols) {
        NSString *symbolText = symbol.text;
        NSNumber *symbolConfidence = symbol.confidence;
        NSArray<FIRVisionTextRecognizedLanguage *> *symbolRecognizedLanguages = symbol.recognizedLanguages;
        FIRVisionTextRecognizedBreak *symbolBreak = symbol.recognizedBreak;
        CGRect symbolFrame = symbol.frame;
      }
    }
  }
}

Próximas etapas

• Antes de implantar em produção um app que usa uma API do Cloud, é preciso seguir mais algumas etapas para evitar ou atenuar o efeito do acesso não autorizado à API.