Adicione classificação de texto no dispositivo ao seu app com TensorFlow Lite e Firebase - Android Codelab

1. Visão Geral

resultado-classificação-texto.png

Bem-vindo ao codelab Classificação de texto com TensorFlow Lite e Firebase. Neste codelab, você aprenderá a usar o TensorFlow Lite e o Firebase para treinar e implantar um modelo de classificação de texto no seu app. Este codelab é baseado neste exemplo do TensorFlow Lite.

Classificação de texto é o processo de atribuição de tags ou categorias ao texto de acordo com seu conteúdo. É uma das tarefas fundamentais no Processamento de Linguagem Natural (PNL) com aplicações amplas, como análise de sentimentos, rotulagem de tópicos, detecção de spam e detecção de intenções.

A análise de sentimento é a interpretação e classificação de emoções (positivas, negativas e neutras) em dados de texto usando técnicas de análise de texto. A análise de sentimento permite que as empresas identifiquem o sentimento do cliente em relação a produtos, marcas ou serviços em conversas e feedback online.

Este tutorial mostra como construir um modelo de aprendizado de máquina para análise de sentimento, em particular classificando o texto como positivo ou negativo. Este é um exemplo de classificação binária – ou de duas classes, um tipo importante e amplamente aplicável de problema de aprendizado de máquina.

O que você aprenderá

  • Treine modelos de análise de sentimento do TF Lite com o TF Lite Model Maker
  • Implante modelos TF Lite no Firebase ML e acesse-os no seu aplicativo
  • Integre modelos de análise de sentimento do TF Lite ao seu aplicativo usando a TF Lite Task Library

O que você precisará

  • Versão mais recente do Android Studio .
  • Código de amostra.
  • Um dispositivo de teste com Android 5.0+ e Google Play Services 9.8 ou posterior, ou um emulador com Google Play Services 9.8 ou posterior
  • Se estiver usando um dispositivo, um cabo de conexão.

Como você usará este tutorial?

Leia apenas Leia e complete os exercícios

Como avaliaria sua experiência com a criação de aplicativos Android?

Novato Intermediário Proficiente

2. Obtenha o código de exemplo

Clone o repositório GitHub na linha de comando.

$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git

Se você não tiver o git instalado, também poderá baixar o projeto de amostra na página do GitHub ou clicando neste link .

3. Importe o aplicativo inicial

No Android Studio, selecione o diretório codelab-textclassification-android-master ( android_studio_folder.png ) no download do código de amostra ( Arquivo > Abrir > .../codelab-textclassification-android-master/start).

Agora você deve ter o projeto inicial aberto no Android Studio.

4. Execute o aplicativo inicial

Agora que importou o projeto para o Android Studio, você está pronto para executar o aplicativo pela primeira vez. Conecte seu dispositivo Android e clique em Executar ( executar.png )na barra de ferramentas do Android Studio.

O aplicativo deve ser iniciado no seu dispositivo. Ele contém apenas uma interface de usuário simples que facilita a integração e o teste de modelos de classificação de texto nas próximas etapas. Neste ponto, se você tentar prever sentimentos, o aplicativo retornará apenas alguns resultados fictícios.

2fb4e69fafb2e3ed.png

5. Crie um projeto de console do Firebase

Adicione o Firebase ao projeto

  1. Vá para o console do Firebase .
  2. Selecione Adicionar projeto .
  3. Selecione ou insira um nome de projeto.
  4. Siga as etapas de configuração restantes no console do Firebase e clique em Criar projeto (ou Adicionar Firebase, se estiver usando um projeto existente do Google).

6. Adicione o Firebase ao aplicativo

  1. Na tela de visão geral do seu novo projeto, clique no ícone do Android para iniciar o fluxo de trabalho de configuração.
  2. Insira o nome do pacote do codelab: org.tensorflow.lite.codelabs.textclassification

Adicione o arquivo google-services.json ao seu aplicativo

Depois de adicionar o nome do pacote e selecionar Registrar**, clique em Baixar google-services.json** para obter o arquivo de configuração do Firebase Android e copie o arquivo google-services.json no diretório * app * do seu projeto.

Adicione o plugin google-services ao seu aplicativo

Siga as instruções no Firebase Console atualizando os arquivos build.gradle.kts para adicionar o Firebase ao seu aplicativo.

O plug-in google-services usa o arquivo google-services.json para configurar seu aplicativo para usar o Firebase.

Sincronize seu projeto com arquivos Gradle

Para ter certeza de que todas as dependências estão disponíveis para seu aplicativo, você deve sincronizar seu projeto com arquivos gradle neste momento. Selecione Arquivo > Sincronizar projeto com arquivos Gradle na barra de ferramentas do Android Studio.

7. Execute o aplicativo com Firebase

Agora que configurou o plug-in google-services com seu arquivo JSON, você está pronto para executar o aplicativo com o Firebase. Conecte seu dispositivo Android e clique em Executar ( executar.png )na barra de ferramentas do Android Studio.

O aplicativo deve ser iniciado no seu dispositivo. Neste ponto, seu aplicativo ainda deve ser compilado com sucesso.

8. Treine um modelo de análise de sentimento

Usaremos o TensorFlow Lite Model Maker para treinar um modelo de classificação de texto para prever o sentimento de um determinado texto.

Esta etapa é apresentada como um notebook Python que você pode abrir no Google Colab. Você pode escolher Runtime > Run all para executar todo o notebook de uma vez.

Abrir no Colab

Depois de concluir esta etapa, você terá um modelo de análise de sentimento do TensorFlow Lite pronto para implantação em um aplicativo móvel.

9. Implante um modelo no Firebase ML

Implantar um modelo no Firebase ML é útil por dois motivos principais:

  1. Podemos manter o tamanho de instalação do aplicativo pequeno e baixar o modelo apenas se necessário
  2. O modelo pode ser atualizado regularmente e com um ciclo de lançamento diferente de todo o aplicativo

O modelo pode ser implantado por meio do console ou de forma programática, usando o SDK Admin do Firebase. Nesta etapa iremos implantar por meio do console.

Primeiro, abra o Firebase Console e clique em Machine Learning no painel de navegação esquerdo. Clique em 'Começar' se estiver abrindo pela primeira vez. Em seguida, navegue até “Personalizado” e clique no botão “Adicionar modelo”.

Quando solicitado, nomeie o modelo sentiment_analysis e carregue o arquivo que você baixou do Colab na etapa anterior.

3c3c50e6ef12b3b.png

10. Baixe o modelo do Firebase ML

Escolher quando fazer download do modelo remoto do Firebase para seu aplicativo pode ser complicado, pois os modelos TFLite podem crescer relativamente grandes. Idealmente, queremos evitar o carregamento do modelo imediatamente quando o aplicativo é iniciado, pois se nosso modelo for usado para apenas um recurso e o usuário nunca usar esse recurso, teremos baixado uma quantidade significativa de dados sem motivo. Também podemos definir opções de download, como buscar apenas modelos quando conectado ao wifi. Se você quiser garantir que o modelo esteja disponível mesmo sem conexão de rede, é importante agrupá-lo também sem o app como backup.

Para simplificar, removeremos o modelo empacotado padrão e sempre baixaremos um modelo do Firebase quando o aplicativo for iniciado pela primeira vez. Dessa forma, ao executar a análise de sentimento, você pode ter certeza de que a inferência está sendo executada com o modelo fornecido pelo Firebase.

No arquivo app/build.gradle.kts , adicione a dependência do Firebase Machine Learning.

app/build.gradle.kts

Encontre este comentário:

// TODO 1: Add Firebase ML dependency

Em seguida, adicione:

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Quando solicitado pelo Android Studio para sincronizar seu projeto, escolha Sincronizar agora .

Então vamos adicionar algum código para baixar o modelo do Firebase.

MainActivity.java

Encontre este comentário:

// TODO 2: Implement a method to download TFLite model from Firebase

Em seguida, adicione:

  /** Download model from Firebase ML. */
  private synchronized void downloadModel(String modelName) {
      CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build();
      FirebaseModelDownloader.getInstance()
              .getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
              .addOnSuccessListener(model -> {
                  try {
                      // TODO 6: Initialize a TextClassifier with the downloaded model

                      predictButton.setEnabled(true);
                  } catch (IOException e) {
                      Log.e(TAG, "Failed to initialize the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model initialization failed.",
                              Toast.LENGTH_LONG)
                              .show();
                      predictButton.setEnabled(false);
                  }
              })
              .addOnFailureListener(e -> {
                      Log.e(TAG, "Failed to download the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model download failed, please check your connection.",
                              Toast.LENGTH_LONG)
                              .show();

                      }
              );

}

Em seguida, chame o método downloadModel no método onCreate da atividade.

MainActivity.java

Encontre este comentário:

// TODO 3: Call the method to download TFLite model

Em seguida, adicione:

downloadModel("sentiment_analysis");

11. Integre o modelo em seu aplicativo

A biblioteca de tarefas do Tensorflow Lite ajuda a integrar modelos do TensorFlow Lite ao seu aplicativo com apenas algumas linhas de código. Inicializaremos uma instância NLClassifier usando o modelo TensorFlow Lite baixado do Firebase. Em seguida, iremos usá-lo para classificar a entrada de texto dos usuários do aplicativo e mostrar o resultado na IU.

Adicione a dependência

Acesse o arquivo Gradle do aplicativo e adicione TensorFlow Lite Task Library (Text) nas dependências do aplicativo.

app/build.gradle

Encontre este comentário:

// TODO 4: Add TFLite Task API (Text) dependency

Em seguida, adicione:

implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")

Quando solicitado pelo Android Studio para sincronizar seu projeto, escolha Sincronizar agora .

Inicialize um classificador de texto

Em seguida, carregaremos o modelo de análise de sentimento baixado do Firebase usando o NLClassifier da Biblioteca de Tarefas.

MainActivity.java

Vamos declarar uma variável de instância NLClassifier. Encontre este comentário:

// TODO 5: Define a NLClassifier variable

Em seguida, adicione:

private NLClassifier textClassifier;

Inicialize a variável textClassifier com o modelo de análise de sentimento baixado do Firebase. Encontre este comentário:

// TODO 6: Initialize a TextClassifier with the downloaded model

Em seguida, adicione:

textClassifier = NLClassifier.createFromFile(model.getFile());

Classificar texto

Depois que a instância textClassifier for configurada, você poderá executar a análise de sentimento com uma única chamada de método.

MainActivity.java

Encontre este comentário:

// TODO 7: Run sentiment analysis on the input text

Em seguida, adicione:

List<Category> results = textClassifier.classify(text);

Implementar pós-processamento

Por fim, converteremos a saída do modelo em um texto descritivo para mostrar na tela.

MainActivity.java

Encontre este comentário:

// TODO 8: Convert the result to a human-readable text

Remova o código que gera o texto fictício do resultado:

String textToShow = "Dummy classification result.\n";

Em seguida, adicione:

String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
  Category result = results.get(i);
  textToShow += String.format("    %s: %s\n", result.getLabel(),
                              result.getScore());
}
textToShow += "---------\n";

12. Execute o aplicativo final

Você integrou o modelo de análise de sentimento ao aplicativo, então vamos testá-lo. Conecte seu dispositivo Android e clique em Executar ( executar.png )na barra de ferramentas do Android Studio.

O aplicativo deve ser capaz de prever corretamente o sentimento da crítica do filme inserida.

img/text-classification-result.png

13. Aprimore o aplicativo com mais recursos do Firebase

Além de hospedar seus modelos TFLite, o Firebase oferece vários outros recursos para potencializar seus casos de uso de aprendizado de máquina:

  • Monitoramento de desempenho do Firebase para medir a velocidade de inferência do seu modelo em execução no dispositivo dos usuários.
  • Firebase Analytics para medir o desempenho do seu modelo na produção, medindo a reação do usuário.
  • Teste A/B do Firebase para testar várias versões do seu modelo
  • Você se lembra que treinamos duas versões do nosso modelo TFLite anteriormente? O teste A/B é uma boa maneira de descobrir qual versão tem melhor desempenho em produção!

Para saber mais sobre como aproveitar esses recursos no seu app, confira os codelabs abaixo:

14. Parabéns!

Neste codelab, você aprendeu a treinar um modelo TFLite de análise de sentimento e implantá-lo em seu aplicativo móvel usando o Firebase. Para saber mais sobre o TFLite e o Firebase, dê uma olhada em outros exemplos do TFLite e nos guias de primeiros passos do Firebase.

O que cobrimos

  • TensorFlow Lite
  • FirebaseML

Próximos passos

  • Meça a velocidade de inferência do seu modelo com o Firebase Performance Monitoring.
  • Implante o modelo do Colab diretamente no Firebase por meio da API Firebase ML Model Management.
  • Adicione um mecanismo para permitir que os usuários forneçam feedback sobre o resultado da previsão e use o Firebase Analytics para rastrear o feedback do usuário.
  • Teste A/B do modelo Average Word Vector e do modelo MobileBERT com teste A/B do Firebase.

Saber mais

Ter uma questão?

Relatar problemas