Menambahkan Klasifikasi Teks di perangkat ke aplikasi Anda dengan TensorFlow Lite dan Firebase - Codelab Android

1. Ringkasan

Catatan: Codelab ini menggunakan library TensorFlow Lite. Sebaiknya semua kode baru menggunakan alat library Google AI Edge Lite RT.

Selamat datang di codelab Klasifikasi Teks dengan TensorFlow Lite dan Firebase. Dalam codelab ini, Anda akan mempelajari cara menggunakan TensorFlow Lite dan Firebase untuk melatih dan men-deploy model klasifikasi teks ke aplikasi Anda. Codelab ini didasarkan pada contoh TensorFlow Lite ini.

Klasifikasi teks adalah proses menetapkan tag atau kategori ke teks berdasarkan isinya. Ini adalah salah satu tugas mendasar dalam Natural Language Processing (NLP) dengan berbagai aplikasi seperti analisis sentimen, pemberian label topik, deteksi spam, dan deteksi niat.

Analisis sentimen adalah interpretasi dan klasifikasi emosi (positif, negatif, dan netral) dalam data teks menggunakan teknik analisis teks. Analisis sentimen memungkinkan bisnis mengidentifikasi sentimen pelanggan terhadap produk, merek, atau layanan dalam percakapan dan masukan online.

Tutorial ini menunjukkan cara membuat model machine learning untuk analisis sentimen, khususnya mengklasifikasikan teks sebagai positif atau negatif. Ini adalah contoh klasifikasi biner—atau dua kelas—, jenis masalah machine learning yang penting dan dapat diterapkan secara luas.

Yang akan Anda pelajari

• Melatih model analisis sentimen TF Lite dengan TF Lite Model Maker
• Men-deploy model TF Lite ke Firebase ML dan mengaksesnya dari aplikasi Anda
• Mengintegrasikan model analisis sentimen TF Lite ke aplikasi Anda menggunakan TF Lite Task Library

Hal yang akan Anda perlukan

• Versi Android Studio terbaru.
• Kode contoh.
• Perangkat uji dengan Android 5.0+ dan layanan Google Play 9.8 atau yang lebih baru, atau Emulator dengan layanan Google Play 9.8 atau yang lebih baru
• Jika menggunakan perangkat, kabel koneksi.

Bagaimana Anda akan menggunakan tutorial ini?

Hanya membacanya Membacanya dan menyelesaikan latihan

Bagaimana Anda menilai pengalaman membuat aplikasi Android Anda?

Pemula Menengah Mahir

2. Mendapatkan kode contoh

Buat clone repositori GitHub dari command line.

$ git clone https://github.com/FirebaseExtended/codelab-textclassification-android.git

Jika Anda belum menginstal git, Anda juga dapat mendownload project contoh dari halaman GitHub-nya atau dengan mengklik link ini.

Repositori "codelab-textclassification-android" berisi dua folder:

• start—Kode awal yang akan Anda buat dalam codelab ini.
• final—Kode lengkap untuk aplikasi contoh yang sudah selesai.

3. Mengimpor aplikasi awal

Dari Android Studio, pilih direktori codelab-textclassification-android-master ( ) dari download kode contoh (File > Open > .../codelab-textclassification-android-master/start).

Sekarang Anda akan membuka project awal di Android Studio.

4. Menjalankan aplikasi awal

Setelah mengimpor project ke Android Studio, Anda siap menjalankan aplikasi untuk pertama kalinya. Hubungkan perangkat Android Anda, lalu klik Run ( )di toolbar Android Studio.

Aplikasi akan diluncurkan di perangkat Anda. Aplikasi ini hanya berisi UI sederhana yang memudahkan integrasi dan pengujian model klasifikasi teks pada langkah berikutnya. Pada tahap ini, jika Anda mencoba memprediksi sentimen, aplikasi hanya akan menampilkan beberapa hasil dummy.

5. Buat project Firebase console

Menambahkan Firebase ke project

1. Buka Firebase console.
2. Pilih Tambahkan project.
3. Pilih atau masukkan Nama project.
4. Ikuti langkah-langkah penyiapan selanjutnya di Firebase console, lalu klik Buat project (atau Tambahkan Firebase, jika Anda menggunakan project Google yang sudah ada).

6. Menambahkan Firebase ke aplikasi

1. Dari layar ringkasan project baru Anda, klik ikon Android untuk meluncurkan alur kerja penyiapan.
2. Masukkan nama paket codelab: org.tensorflow.lite.codelabs.textclassification

Tambahkan file google-services.json ke aplikasi Anda

Setelah menambahkan nama paket dan memilih Daftar**, Klik Download google-services.json** untuk mendapatkan file konfigurasi Android Firebase Anda, lalu salin file google-services.json ke direktori *app* di project Anda.

Menambahkan plugin google-services ke aplikasi Anda

Ikuti petunjuk di Firebase Console untuk memperbarui file build.gradle.kts guna menambahkan Firebase ke aplikasi Anda.

Plugin google-services menggunakan file google-services.json untuk mengonfigurasi aplikasi Anda agar menggunakan Firebase.

Menyinkronkan project Anda dengan file gradle

Untuk memastikan bahwa semua dependensi tersedia untuk aplikasi Anda, Anda harus menyinkronkan project dengan file gradle pada tahap ini. Pilih File > Sync Project with Gradle Files dari toolbar Android Studio.

7. Menjalankan aplikasi dengan Firebase

Setelah mengonfigurasi plugin google-services dengan file JSON, Anda siap menjalankan aplikasi dengan Firebase. Hubungkan perangkat Android Anda, lalu klik Run ( )di toolbar Android Studio.

Aplikasi akan diluncurkan di perangkat Anda. Pada tahap ini, aplikasi Anda akan tetap berhasil di-build.

8. Melatih model analisis sentimen

Kita akan menggunakan TensorFlow Lite Model Maker untuk melatih model klasifikasi teks guna memprediksi sentimen teks tertentu.

Langkah ini disajikan sebagai notebook Python yang dapat Anda buka di Google Colab. Anda dapat memilih Runtime > Run all untuk menjalankan semua notebook sekaligus.

Buka di Colab

Setelah menyelesaikan langkah ini, Anda akan memiliki model analisis sentimen TensorFlow Lite yang siap di-deploy ke aplikasi seluler.

9. Men-deploy model ke Firebase ML

Men-deploy model ke Firebase ML berguna karena dua alasan utama:

1. Kita dapat mempertahankan ukuran penginstalan aplikasi tetap kecil dan hanya mendownload model jika diperlukan
2. Model dapat diupdate secara berkala dan dengan siklus rilis yang berbeda dari seluruh aplikasi

Model dapat di-deploy melalui konsol, atau secara terprogram, menggunakan Firebase Admin SDK. Pada langkah ini, kita akan men-deploy melalui konsol.

Pertama, buka Firebase Console, lalu klik Machine Learning di panel navigasi kiri. Klik 'Mulai' jika Anda membuka halaman ini untuk pertama kalinya. Kemudian, buka "Kustom" dan klik tombol "Tambahkan model".

Saat diminta, beri nama model sentiment_analysis dan upload file yang Anda download dari Colab pada langkah sebelumnya.

Catatan: Jika memiliki pipeline untuk melatih ulang model secara berkelanjutan, Anda dapat mengotomatiskan proses upload ke Firebase menggunakan Firebase ML Model Management API.

10. Mendownload model dari Firebase ML

Memilih waktu untuk mendownload model jarak jauh dari Firebase ke aplikasi Anda bisa jadi rumit karena model TFLite dapat bertambah besar. Idealnya, kita ingin menghindari pemuatan model segera saat aplikasi diluncurkan, karena jika model kita hanya digunakan untuk satu fitur dan pengguna tidak pernah menggunakan fitur tersebut, kita akan mendownload sejumlah besar data tanpa alasan. Kita juga dapat menyetel opsi download seperti hanya mengambil model saat terhubung ke Wi-Fi. Jika Anda ingin memastikan model tersedia meskipun tanpa koneksi jaringan, penting juga untuk memaketkannya tanpa aplikasi sebagai cadangan.

Demi kesederhanaan, kita akan menghapus model bawaan default dan selalu mendownload model dari Firebase saat aplikasi dimulai untuk pertama kalinya. Dengan begitu, saat menjalankan analisis sentimen, Anda dapat memastikan bahwa inferensi berjalan dengan model yang disediakan dari Firebase.

Di file app/build.gradle.kts, tambahkan dependensi Firebase Machine Learning.

app/build.gradle.kts

Menemukan komentar ini:

// TODO 1: Add Firebase ML dependency

Kemudian, tambahkan:

implementation(platform("com.google.firebase:firebase-bom:32.0.0"))
implementation("com.google.firebase:firebase-ml-modeldownloader:24.1.2")

Saat diminta oleh Android Studio untuk menyinkronkan project, pilih Sync Now.

Kemudian, tambahkan beberapa kode untuk mendownload model dari Firebase.

MainActivity.java

Menemukan komentar ini:

// TODO 2: Implement a method to download TFLite model from Firebase

Kemudian, tambahkan:

  /** Download model from Firebase ML. */
  private synchronized void downloadModel(String modelName) {
      CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
            .requireWifi()
            .build();
      FirebaseModelDownloader.getInstance()
              .getModel("sentiment_analysis", DownloadType.LOCAL_MODEL, conditions)
              .addOnSuccessListener(model -> {
                  try {
                      // TODO 6: Initialize a TextClassifier with the downloaded model

                      predictButton.setEnabled(true);
                  } catch (IOException e) {
                      Log.e(TAG, "Failed to initialize the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model initialization failed.",
                              Toast.LENGTH_LONG)
                              .show();
                      predictButton.setEnabled(false);
                  }
              })
              .addOnFailureListener(e -> {
                      Log.e(TAG, "Failed to download the model. ", e);
                      Toast.makeText(
                              MainActivity.this,
                              "Model download failed, please check your connection.",
                              Toast.LENGTH_LONG)
                              .show();

                      }
              );

}

Selanjutnya, panggil metode downloadModel dalam metode onCreate aktivitas.

MainActivity.java

Menemukan komentar ini:

// TODO 3: Call the method to download TFLite model

Kemudian, tambahkan:

downloadModel("sentiment_analysis");

Catatan: Pastikan nama model di sini sama dengan nama yang Anda tentukan saat mengupload model ke Firebase pada langkah sebelumnya.

11. Mengintegrasikan model di aplikasi Anda

TensorFlow Lite Task Library membantu Anda mengintegrasikan model TensorFlow Lite ke dalam aplikasi hanya dengan beberapa baris kode. Kita akan melakukan inisialisasi instance NLClassifier menggunakan model TensorFlow Lite yang didownload dari Firebase. Kemudian, kita akan menggunakannya untuk mengklasifikasikan input teks dari pengguna aplikasi dan menampilkan hasilnya di UI.

Tambahkan dependensi

Buka file Gradle aplikasi dan tambahkan TensorFlow Lite Task Library (Text) di dependensi aplikasi.

app/build.gradle

Menemukan komentar ini:

// TODO 4: Add TFLite Task API (Text) dependency

Kemudian, tambahkan:

implementation("org.tensorflow:tensorflow-lite-task-text:0.3.0")

Saat diminta oleh Android Studio untuk menyinkronkan project, pilih Sync Now.

Menginisialisasi pengklasifikasi teks

Kemudian, kita akan memuat model analisis sentimen yang didownload dari Firebase menggunakan NLClassifier Task Library.

MainActivity.java

Mari kita deklarasikan variabel instance NLClassifier. Menemukan komentar ini:

// TODO 5: Define a NLClassifier variable

Kemudian, tambahkan:

private NLClassifier textClassifier;

Inisialisasi variabel textClassifier dengan model analisis sentimen yang didownload dari Firebase. Menemukan komentar ini:

// TODO 6: Initialize a TextClassifier with the downloaded model

Kemudian, tambahkan:

textClassifier = NLClassifier.createFromFile(model.getFile());

Mengklasifikasikan teks

Setelah instance textClassifier disiapkan, Anda dapat menjalankan analisis sentimen dengan satu panggilan metode.

MainActivity.java

Menemukan komentar ini:

// TODO 7: Run sentiment analysis on the input text

Kemudian, tambahkan:

List<Category> results = textClassifier.classify(text);

Menerapkan pasca-pemrosesan

Terakhir, kita akan mengonversi output model menjadi teks deskriptif untuk ditampilkan di layar.

MainActivity.java

Menemukan komentar ini:

// TODO 8: Convert the result to a human-readable text

Hapus kode yang menghasilkan teks hasil tiruan:

String textToShow = "Dummy classification result.\n";

Kemudian, tambahkan:

String textToShow = "Input: " + text + "\nOutput:\n";
for (int i = 0; i < results.size(); i++) {
  Category result = results.get(i);
  textToShow += String.format("    %s: %s\n", result.getLabel(),
                              result.getScore());
}
textToShow += "---------\n";

Catatan:

1. Karena inferensi model machine learning adalah tugas yang berat secara komputasi, kita perlu mengeksekusinya di thread latar belakang untuk menghindari pemblokiran UI aplikasi.
2. TensorFlow Lite tidak aman untuk thread. Oleh karena itu, kita menggunakan thread khusus yang dibuat melalui Executors.newSingleThreadExecutor() untuk berinteraksi dengan instance textClassifier.

12. Menjalankan aplikasi akhir

Anda telah mengintegrasikan model analisis sentimen ke aplikasi, jadi mari kita uji. Hubungkan perangkat Android Anda, lalu klik Run ( )di toolbar Android Studio.

Aplikasi harus dapat memprediksi sentimen ulasan film yang Anda masukkan dengan benar.

13. Meningkatkan kualitas aplikasi dengan fitur Firebase lainnya

Selain menghosting model TFLite, Firebase menyediakan beberapa fitur lain untuk mendukung kasus penggunaan machine learning Anda:

• Firebase Performance Monitoring untuk mengukur kecepatan inferensi model yang berjalan di perangkat pengguna.
• Firebase Analytics untuk mengukur seberapa baik performa model Anda dalam produksi dengan mengukur reaksi pengguna.
• Firebase A/B Testing untuk menguji beberapa versi model Anda
• Apakah Anda ingat bahwa kita melatih dua versi model TFLite sebelumnya? Pengujian A/B adalah cara yang baik untuk mengetahui versi mana yang berperforma lebih baik dalam produksi.

Untuk mempelajari lebih lanjut cara memanfaatkan fitur ini di aplikasi Anda, lihat codelab di bawah:

• Menambahkan Firebase ke Aplikasi Android yang didukung TFLite
• Menambahkan Firebase ke Aplikasi iOS dengan teknologi TFLite

14. Selamat!

Dalam codelab ini, Anda telah mempelajari cara melatih model TFLite analisis sentimen dan men-deploy-nya ke aplikasi seluler menggunakan Firebase. Untuk mempelajari TFLite dan Firebase lebih lanjut, lihat sampel TFLite lainnya dan panduan memulai Firebase.

Yang telah kita bahas

• TensorFlow Lite
• Firebase ML

Langkah Berikutnya

• Ukur kecepatan inferensi model Anda dengan Firebase Performance Monitoring.
• Deploy model dari Colab langsung ke Firebase melalui Firebase ML Model Management API.
• Tambahkan mekanisme untuk memungkinkan pengguna memberikan masukan tentang hasil prediksi, dan gunakan Firebase Analytics untuk melacak masukan pengguna.
• Lakukan pengujian A/B pada model Average Word Vector dan model MobileBERT dengan Firebase A/B Testing.

Pelajari Lebih Lanjut

• Dokumentasi Firebase Machine Learning
• Dokumentasi TensorFlow Lite
• Mengukur performa aplikasi dengan Firebase
• Model A/B Testing dengan Firebase

Ada Pertanyaan?

• Stackoverflow 'firebase-machine-learning'

Melaporkan Masalah

• Masalah GitHub