TensorFlow Lite と Firebase を使用してアプリにオンデバイスのテキスト分類を追加する - Android Codelab

1. 概要

text-classification-result.png

TensorFlow Lite と Firebase を使用したテキスト分類 Codelab へようこそ。この Codelab では、TensorFlow Lite と Firebase を使用してテキスト分類モデルをトレーニングし、アプリにデプロイする方法を学びます。この Codelab は、この TensorFlow Lite の例に基づいています。

テキスト分類は、テキストの内容に応じてタグやカテゴリを割り当てるプロセスです。これは、自然言語処理（NLP）の基本的なタスクの 1 つであり、感情分析、トピック ラベリング、スパム検出、インテント検出など、幅広いアプリケーションがあります。

感情分析とは、テキスト分析手法を使用して、テキストデータ内の感情（肯定的、否定的、中立的）を解釈して分類することです。感情分析を使用すると、オンラインでの会話やフィードバックで、商品、ブランド、サービスに対する顧客の感情を特定できます。

このチュートリアルでは、感情分析用の機械学習モデルを構築する方法について説明します。特に、テキストをポジティブまたはネガティブに分類する方法について説明します。これは、ML の重要な問題であり、幅広く適用できるバイナリ分類（2 クラス分類）の例です。

学習内容

  • TF Lite Model Maker を使用して TF Lite 感情分析モデルをトレーニングする
  • TF Lite モデルを Firebase ML にデプロイし、アプリからアクセスする
  • TF Lite タスク ライブラリを使用して TF Lite 感情分析モデルをアプリに統合する

必要なもの

  • 最新の Android Studio バージョン。
  • サンプルコード。
  • Android 5.0 以降と Google Play 開発者サービス 9.8 以降を搭載したテストデバイス、または Google Play 開発者サービス 9.8 以降を搭載したエミュレータ
  • デバイスを使用している場合は、接続ケーブル。

このチュートリアルをどのように使用されますか？

通読のみ 通読して演習を行う

Android アプリ作成のご経験についてお答えください。

初心者 中級者 上級者

2. サンプルコードを取得する

コマンドラインから GitHub リポジトリのクローンを作成します。

$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git

git をインストールしていない場合は、GitHub ページから、またはこのリンクをクリックして、サンプル プロジェクトをダウンロードすることもできます。

3. スターター アプリをインポートする

Android Studio で、サンプルコードのダウンロードから codelab-textclassification-android-master ディレクトリ（android_studio_folder.png）を選択します（[File] > [Open] > .../codelab-textclassification-android-master/start）。

これで、Android Studio でスタート プロジェクトが開いているはずです。

4. スターター アプリを実行する

Android Studio にプロジェクトをインポートしたので、アプリを初めて実行する準備ができました。Android デバイスを接続し、Android Studio のツールバーで [Run]（execute.png）をクリックします。

デバイスでアプリが起動するはずです。これには、次の手順でテキスト分類モデルを簡単に統合してテストできるシンプルな UI のみが含まれています。この時点で感情分析を試すと、アプリはダミーの結果のみを返します。

2fb4e69fafb2e3ed.png

5. Firebase コンソール プロジェクトを作成する

プロジェクトに Firebase を追加する

  1. Firebase コンソールに移動します。
  2. [プロジェクトを追加] を選択します。
  3. プロジェクト名を選択または入力します。
  4. Firebase コンソールで残りの設定手順を実施した後、[プロジェクトを作成]（既存の Google プロジェクトを使用する場合は [Firebase を追加]）をクリックします。

6. アプリに Firebase を追加する

  1. 新しいプロジェクトの概要画面で、Android アイコンをクリックして設定ワークフローを起動します。
  2. コードラボのパッケージ名（org.tensorflow.lite.codelabs.textclassification）を入力します。

アプリに google-services.json ファイルを追加する

パッケージ名を追加して [登録] を選択したら、[google-services.json をダウンロード] をクリックして Firebase Android 構成ファイルを取得し、google-services.json ファイルをプロジェクトの *app* ディレクトリにコピーします。

アプリに google-services プラグインを追加する

Firebase コンソールの手順に沿って build.gradle.kts ファイルを更新し、アプリに Firebase を追加します。

google-services プラグインは、google-services.json ファイルを使用して、Firebase を使用するようにアプリケーションを構成します。

プロジェクトを Gradle ファイルと同期する

すべての依存関係がアプリで使用可能であることを確認するには、この時点でプロジェクトを Gradle ファイルと同期する必要があります。Android Studio のツールバーから [File] > [Sync Project with Gradle Files] を選択します。

7. Firebase でアプリを実行する

JSON ファイルを使用して google-services プラグインを構成したので、Firebase でアプリを実行する準備が整いました。Android デバイスを接続し、Android Studio のツールバーで [Run]（execute.png）をクリックします。

デバイスでアプリが起動するはずです。この時点で、アプリは正常にビルドされるはずです。

8. 感情分析モデルをトレーニングする

TensorFlow Lite Model Maker を使用して、特定のテキストの感情を予測するテキスト分類モデルをトレーニングします。

この手順は、Google Colab で開くことができる Python ノートブックとして示されています。[ランタイム] > [すべて実行] を選択すると、ノートブック全体を一度に実行できます。

Colab で開く

この手順を完了すると、モバイルアプリにデプロイできる TensorFlow Lite の感情分析モデルが作成されます。

9. Firebase ML にモデルをデプロイする

Firebase ML にモデルをデプロイする主な理由は次の 2 つです。

  1. アプリのインストール サイズを小さく保ち、必要に応じてモデルをダウンロードできる
  2. モデルは、アプリ全体とは異なるリリース サイクルで定期的に更新できます。

モデルは、コンソールまたは Firebase Admin SDK を使用してプログラムでデプロイできます。このステップでは、コンソールを使用してデプロイします。

まず、Firebase コンソールを開き、左側のナビゲーション パネルで [Machine Learning] をクリックします。初めて開く場合は、[使ってみる] をクリックします。[カスタム] に移動し、[モデルを追加] ボタンをクリックします。

プロンプトが表示されたら、モデルに sentiment_analysis という名前を付け、前の手順で Colab からダウンロードしたファイルをアップロードします。

3c3c50e6ef12b3b.png

10. Firebase ML からモデルをダウンロードする

TFLite モデルは比較的大きくなる可能性があるため、Firebase からアプリにリモートモデルをダウンロードするタイミングを選択するのは難しい場合があります。アプリの起動時にモデルをすぐに読み込むのは避けたいところです。モデルが 1 つの機能にしか使用されず、ユーザーがその機能を一度も使用しない場合、大量のデータを無駄にダウンロードすることになるからです。また、Wi-Fi に接続されている場合にのみモデルを取得するなど、ダウンロード オプションを設定することもできます。ネットワーク接続がなくてもモデルを利用できるようにするには、アプリなしでモデルをバンドルしてバックアップすることも重要です。

簡略化のため、デフォルトのバンドル モデルを削除し、アプリの初回起動時に常に Firebase からモデルをダウンロードします。これにより、感情分析を実行する際に、Firebase から提供されたモデルで推論が実行されていることを確認できます。

app/build.gradle.kts ファイルで、Firebase Machine Learning の依存関係を追加します。

app/build.gradle.kts

次のコメントを探します。

// TODO 1: Add Firebase ML dependency

続いて、次のパラメータを追加します。

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Android Studio からプロジェクトの同期を求められたら、[Sync Now] を選択します。

次に、Firebase からモデルをダウンロードするコードを追加しましょう。

MainActivity.java

次のコメントを探します。

// TODO 2: Implement a method to download TFLite model from Firebase

続いて、次のパラメータを追加します。

  /** Download model from Firebase ML. */
  private synchronized void downloadModel(String modelName) {
      CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build();
      FirebaseModelDownloader.getInstance()
              .getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
              .addOnSuccessListener(model -> {
                  try {
                      // TODO 6: Initialize a TextClassifier with the downloaded model

                      predictButton.setEnabled(true);
                  } catch (IOException e) {
                      Log.e(TAG, "Failed to initialize the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model initialization failed.",
                              Toast.LENGTH_LONG)
                              .show();
                      predictButton.setEnabled(false);
                  }
              })
              .addOnFailureListener(e -> {
                      Log.e(TAG, "Failed to download the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model download failed, please check your connection.",
                              Toast.LENGTH_LONG)
                              .show();

                      }
              );

}

次に、アクティビティの onCreate メソッドで downloadModel メソッドを呼び出します。

MainActivity.java

次のコメントを探します。

// TODO 3: Call the method to download TFLite model

続いて、次のパラメータを追加します。

downloadModel("sentiment_analysis");

11. アプリにモデルを統合する

Tensorflow Lite Task Library を使用すると、わずか数行のコードで TensorFlow Lite モデルをアプリに統合できます。Firebase からダウンロードした TensorFlow Lite モデルを使用して NLClassifier インスタンスを初期化します。次に、アプリユーザーからのテキスト入力を分類し、その結果を UI に表示します。

依存関係を追加する

アプリの Gradle ファイルに移動し、アプリの依存関係に TensorFlow Lite タスク ライブラリ（テキスト）を追加します。

app/build.gradle

次のコメントを探します。

// TODO 4: Add TFLite Task API (Text) dependency

続いて、次のパラメータを追加します。

implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")

Android Studio からプロジェクトの同期を求められたら、[Sync Now] を選択します。

テキスト分類器を初期化する

次に、Task Library の NLClassifier を使用して、Firebase からダウンロードした感情分析モデルを読み込みます。

MainActivity.java

NLClassifier インスタンス変数を宣言しましょう。次のコメントを探します。

// TODO 5: Define a NLClassifier variable

続いて、次のパラメータを追加します。

private NLClassifier textClassifier;

Firebase からダウンロードした感情分析モデルで textClassifier 変数を初期化します。次のコメントを探します。

// TODO 6: Initialize a TextClassifier with the downloaded model

続いて、次のパラメータを追加します。

textClassifier = NLClassifier.createFromFile(model.getFile());

テキストの分類

textClassifier インスタンスを設定したら、単一のメソッド呼び出しで感情分析を実行できます。

MainActivity.java

次のコメントを探します。

// TODO 7: Run sentiment analysis on the input text

続いて、次のパラメータを追加します。

List<Category> results = textClassifier.classify(text);

後処理を実装する

最後に、モデルの出力を説明テキストに変換して画面に表示します。

MainActivity.java

次のコメントを探します。

// TODO 8: Convert the result to a human-readable text

ダミーの結果テキストを生成するコードを削除します。

String textToShow = "Dummy classification result.\n";

続いて、次のパラメータを追加します。

String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
  Category result = results.get(i);
  textToShow += String.format("    %s: %s\n", result.getLabel(),
                              result.getScore());
}
textToShow += "---------\n";

12. 最終版のアプリを実行する

感情分析モデルをアプリに統合したので、テストしてみましょう。Android デバイスを接続し、Android Studio のツールバーで [Run]（execute.png）をクリックします。

入力した映画のレビューの感情をアプリが正しく予測できる必要があります。

img/text-classification-result.png

13. Firebase のその他の機能でアプリを強化する

Firebase には、TFLite モデルのホスティング以外にも、機械学習のユースケースを強化するための機能がいくつか用意されています。

  • Firebase Performance Monitoring を使用して、ユーザーのデバイスで実行されているモデルの推論速度を測定します。
  • Firebase アナリティクスを使用して、ユーザーの反応を測定することで、モデルのパフォーマンスを本番環境で測定します。
  • モデルの複数のバージョンをテストするための Firebase A/B Testing
  • 先ほど、TFLite モデルの 2 つのバージョンをトレーニングしたことを思い出しましたか？A/B テストは、本番環境でどちらのバージョンのパフォーマンスが高いかを調べるのに適した方法です。

アプリでこれらの機能を活用する方法について詳しくは、以下の Codelab をご覧ください。

14. 完了

この Codelab では、感情分析 TFLite モデルをトレーニングし、Firebase を使用してモバイルアプリにデプロイする方法を学びました。TFLite と Firebase の詳細については、他の TFLite サンプルと Firebase スタートガイドをご覧ください。

学習した内容

  • TensorFlow Lite
  • Firebase ML

次のステップ

  • Firebase Performance Monitoring を使用して、モデルの推論速度を測定します。
  • Firebase ML Model Management API を介して、Colab から Firebase にモデルを直接デプロイします。
  • ユーザーが予測結果についてフィードバックできるメカニズムを追加し、Firebase アナリティクスを使用してユーザー フィードバックをトラッキングします。
  • Firebase A/B Testing を使用して、Average Word Vector モデルと MobileBERT モデルの A/B テストを実施します。

詳細

質問がある場合

問題を報告する