Ikuti semua informasi yang diumumkan di Firebase Summit, dan pelajari bagaimana Firebase dapat membantu Anda mempercepat pengembangan aplikasi dan menjalankan aplikasi dengan percaya diri. Pelajari Lebih Lanjut

Buat Eksperimen Perpesanan Dalam Aplikasi dengan Pengujian A/B

Saat Anda menjangkau pengguna Anda atau memulai kampanye pemasaran baru, Anda ingin memastikan bahwa Anda melakukannya dengan benar. Pengujian A/B dapat membantu Anda menemukan kata-kata dan presentasi yang optimal dengan menguji varian pesan pada bagian tertentu dari basis pengguna Anda. Baik sasaran Anda adalah retensi atau konversi yang lebih baik pada suatu penawaran, pengujian A/B dapat melakukan analisis statistik untuk menentukan apakah varian pesan mengungguli baseline untuk tujuan yang Anda pilih.

Untuk menguji varian fitur A/B dengan baseline, lakukan hal berikut:

  1. Buat eksperimen Anda.
  2. Validasi eksperimen Anda pada perangkat uji.
  3. Kelola eksperimen Anda.

Buat eksperimen

Eksperimen yang menggunakan Firebase In-App Messaging memungkinkan Anda mengevaluasi beberapa varian dari satu pesan dalam aplikasi.

  1. Masuk ke konsol Firebase dan verifikasi bahwa Google Analytics diaktifkan di proyek Anda sehingga eksperimen memiliki akses ke data Analytics.

    Jika Anda tidak mengaktifkan Google Analytics saat membuat proyek, Anda dapat mengaktifkannya di tab Integrasi , yang dapat Anda akses menggunakan > Setelan proyek di konsol Firebase .

  2. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .

  3. Klik Buat eksperimen , lalu pilih In-App Messaging saat diminta untuk layanan yang ingin Anda coba.

  4. Atau, pada bilah navigasi Firebase console , perluas Engage , lalu klik In-App Messaging . Kemudian klik Eksperimen baru .

  5. Masukkan Nama dan Deskripsi opsional untuk eksperimen Anda, lalu klik Berikutnya .

  6. Isi bidang Penargetan , pertama-tama pilih aplikasi yang menggunakan eksperimen Anda. Anda juga dapat menargetkan subkumpulan pengguna untuk berpartisipasi dalam eksperimen dengan memilih opsi yang mencakup hal berikut:

    • Versi: Satu atau beberapa versi aplikasi Anda
    • Audiens pengguna: Audiens Analytics yang digunakan untuk menargetkan pengguna yang mungkin disertakan dalam eksperimen
    • Properti pengguna: Satu atau beberapa properti pengguna Analytics untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Negara/Wilayah: Satu atau beberapa negara atau wilayah untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Bahasa perangkat: Satu atau beberapa bahasa dan lokal yang digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen
    • Pertama kali dibuka: Targetkan pengguna berdasarkan pertama kali mereka membuka aplikasi Anda
    • Keterlibatan aplikasi terakhir: Menargetkan pengguna berdasarkan terakhir kali mereka berinteraksi dengan aplikasi Anda
  7. Tetapkan Persentase pengguna target: Pilih persentase basis pengguna aplikasi Anda yang cocok dengan kriteria yang ditetapkan di bawah Target pengguna yang ingin Anda bagi secara merata antara baseline dan satu atau beberapa varian dalam eksperimen Anda. Ini bisa berupa persentase antara 0,01% dan 100%. Persentase secara acak ditetapkan ulang ke pengguna untuk setiap eksperimen, termasuk eksperimen duplikat.

  8. Di bagian Varian , konfigurasikan pesan dalam aplikasi dasar untuk dikirim ke grup dasar menggunakan antarmuka desain pesan yang Anda gunakan untuk kampanye perpesanan dalam aplikasi normal.

  9. Untuk menambahkan varian ke eksperimen Anda, klik Tambahkan Varian . Secara default, eksperimen memiliki satu dasar dan satu varian.

  10. (opsional) Masukkan nama untuk setiap varian dalam eksperimen Anda untuk menggantikan nama Varian A , Varian B , dll.

  11. (opsional) Di bagian atas Varian , klik tombol Bandingkan varian untuk membandingkan satu varian pesan lagi secara berdampingan dengan pesan dasar.

  12. Tentukan metrik sasaran yang akan digunakan eksperimen Anda saat mengevaluasi varian eksperimen bersama dengan metrik tambahan yang diinginkan dari daftar tarik-turun. Metrik ini mencakup tujuan bawaan (keterlibatan, pembelian, pendapatan, retensi, dll.), peristiwa konversi Analytics, dan peristiwa Analytics lainnya.

  13. Konfigurasikan penjadwalan untuk eksperimen:

    • Tetapkan tanggal Mulai dan Akhir untuk eksperimen.
    • Setel cara pesan dalam aplikasi dipicu di semua varian.
  14. Klik Tinjau untuk menyimpan eksperimen Anda.

Anda diizinkan hingga 300 eksperimen per proyek, yang dapat terdiri dari hingga 24 eksperimen yang sedang berjalan, dengan sisanya sebagai draf atau selesai.

Validasi eksperimen Anda pada perangkat uji

Untuk setiap penginstalan Firebase, Anda dapat mengambil token autentikasi penginstalan yang terkait dengannya. Anda dapat menggunakan token ini untuk menguji varian eksperimen tertentu pada perangkat pengujian yang telah menginstal aplikasi Anda. Untuk memvalidasi eksperimen Anda pada perangkat uji, lakukan hal berikut:

  1. Dapatkan token autentikasi instalasi sebagai berikut:

    Cepat

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Pada bilah navigasi Firebase console , klik Pengujian A/B .
  3. Klik Draf (dan/atau Menjalankan eksperimen Remote Config), arahkan kursor ke eksperimen Anda, klik menu konteks ( ), lalu klik Kelola perangkat pengujian .
  4. Masukkan token autentikasi penginstalan untuk perangkat uji dan pilih varian eksperimen untuk dikirim ke perangkat uji tersebut.
  5. Jalankan aplikasi dan konfirmasikan bahwa varian yang dipilih diterima di perangkat uji.

Untuk mempelajari lebih lanjut tentang penginstalan Firebase, lihat Mengelola penginstalan Firebase .

Kelola eksperimen Anda

Baik Anda membuat eksperimen dengan Remote Config, Notifications composer, atau Firebase In-App Messaging, Anda kemudian dapat memvalidasi dan memulai eksperimen, memantau eksperimen saat sedang berjalan, dan menambah jumlah pengguna yang disertakan dalam eksperimen yang sedang berjalan.

Setelah eksperimen selesai, Anda dapat mencatat setelan yang digunakan oleh varian pemenang, lalu meluncurkan setelan tersebut ke semua pengguna. Atau, Anda dapat menjalankan eksperimen lain.

Mulai percobaan

  1. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Draf , lalu klik judul eksperimen Anda.
  3. Untuk memvalidasi bahwa aplikasi Anda memiliki pengguna yang akan disertakan dalam eksperimen Anda, perluas detail draf dan periksa jumlah yang lebih besar dari 0% di bagian Penargetan dan distribusi (misalnya, 1% pengguna yang cocok dengan kriteria ).
  4. Untuk mengubah eksperimen Anda, klik Edit .
  5. Untuk memulai eksperimen Anda, klik Mulai Eksperimen . Anda dapat menjalankan hingga 24 eksperimen per proyek sekaligus.

Memantau percobaan

Setelah eksperimen berjalan selama beberapa waktu, Anda dapat memeriksa kemajuannya dan melihat seperti apa hasil Anda bagi pengguna yang telah berpartisipasi dalam eksperimen Anda sejauh ini.

  1. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Berjalan , lalu klik, atau telusuri, judul eksperimen Anda. Di laman ini, Anda dapat melihat berbagai statistik yang diamati dan dimodelkan tentang eksperimen yang sedang berjalan, termasuk yang berikut:

    • % perbedaan dari baseline : Ukuran peningkatan metrik untuk varian tertentu dibandingkan dengan baseline. Dihitung dengan membandingkan rentang nilai untuk varian dengan rentang nilai untuk garis dasar.
    • Probabilitas untuk mengalahkan baseline : Perkiraan probabilitas bahwa varian tertentu mengalahkan baseline untuk metrik yang dipilih.
    • observed_metric per pengguna : Berdasarkan hasil eksperimen, ini adalah rentang prediksi yang akan diikuti oleh nilai metrik seiring waktu.
    • Total observed_metric : Nilai kumulatif yang diamati untuk baseline atau varian. Nilai digunakan untuk mengukur seberapa baik performa setiap varian eksperimen, dan digunakan untuk menghitung Peningkatan , Rentang nilai , Probabilitas untuk mengalahkan baseline , dan Probabilitas untuk menjadi varian terbaik . Bergantung pada metrik yang diukur, kolom ini mungkin diberi label "Durasi per pengguna", "Pendapatan per pengguna", "Rasio retensi", atau "Rasio konversi".
  3. Setelah eksperimen Anda berjalan selama beberapa waktu (setidaknya 7 hari untuk FCM dan In-App Messaging atau 14 hari untuk Remote Config), data di halaman ini menunjukkan varian mana, jika ada, yang menjadi "pemimpin". Beberapa pengukuran disertai dengan diagram batang yang menyajikan data dalam format visual.

Luncurkan eksperimen ke semua pengguna

Setelah eksperimen berjalan cukup lama sehingga Anda memiliki "pemimpin", atau varian pemenang, untuk metrik sasaran Anda, Anda dapat meluncurkan eksperimen ke 100% pengguna. Ini memungkinkan Anda memilih varian untuk dipublikasikan ke semua pengguna di masa mendatang. Meskipun eksperimen Anda belum menghasilkan pemenang yang jelas, Anda tetap dapat memilih untuk meluncurkan varian ke semua pengguna Anda.

  1. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Selesai atau Berjalan , klik eksperimen yang ingin Anda luncurkan ke semua pengguna, klik menu konteks ( ), lalu klik Luncurkan varian .
  3. Luncurkan eksperimen Anda ke semua pengguna dengan melakukan salah satu hal berikut:

    • Untuk eksperimen yang menggunakan Notifications composer , gunakan dialog Luncurkan pesan untuk mengirim pesan ke pengguna target lainnya yang bukan bagian dari eksperimen.
    • Untuk eksperimen Remote Config , pilih varian untuk menentukan nilai parameter Remote Config mana yang akan diperbarui. Kriteria penargetan yang ditentukan saat membuat eksperimen akan ditambahkan sebagai ketentuan baru di template Anda, untuk memastikan peluncuran hanya memengaruhi pengguna yang ditargetkan oleh eksperimen. Setelah mengklik Tinjau di Remote Config untuk meninjau perubahan, klik Publikasikan perubahan untuk menyelesaikan peluncuran.
    • Untuk eksperimen In-App Messaging , gunakan dialog untuk menentukan varian mana yang perlu diluncurkan sebagai kampanye In-App Messaging mandiri. Setelah dipilih, Anda akan diarahkan ke layar penulisan FIAM untuk membuat perubahan apa pun (jika diperlukan) sebelum menerbitkan.

Perluas eksperimen

Jika Anda menemukan bahwa eksperimen tidak menghasilkan cukup banyak pengguna untuk Pengujian A/B untuk dinyatakan sebagai yang terdepan, Anda dapat meningkatkan distribusi eksperimen untuk mencapai persentase yang lebih besar dari basis pengguna aplikasi.

  1. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .
  2. Pilih eksperimen yang sedang berjalan yang ingin Anda edit.
  3. Dalam ikhtisar Eksperimen , klik menu konteks ( ), lalu klik Edit eksperimen yang sedang berjalan .
  4. Dialog Penargetan menampilkan opsi untuk meningkatkan persentase pengguna yang berada dalam eksperimen yang sedang berjalan. Pilih angka yang lebih besar dari persentase saat ini dan klik Publikasikan . Eksperimen akan didorong ke persentase pengguna yang telah Anda tentukan.

Gandakan atau hentikan eksperimen

  1. Di bagian Engage pada bilah navigasi Firebase console , klik Pengujian A/B .
  2. Klik Selesai atau Berjalan , arahkan kursor ke eksperimen Anda, klik menu konteks ( ), lalu klik Eksperimen duplikat atau Hentikan eksperimen .

Penargetan pengguna

Anda dapat menargetkan pengguna untuk disertakan dalam eksperimen Anda menggunakan kriteria penargetan pengguna berikut.

Kriteria penargetan Operator Nilai Catatan
Versi: kapan mengandung,
tidak mengandung,
cocok persis,
berisi ekspresi reguler
Masukkan nilai untuk satu atau beberapa versi aplikasi yang ingin Anda sertakan dalam eksperimen.

Saat menggunakan salah satu operator berisi , tidak berisi , atau sama persis dengan operator, Anda dapat memberikan daftar nilai yang dipisahkan koma.

Saat menggunakan operator berisi regex , Anda dapat membuat ekspresi reguler dalam format RE2 . Ekspresi reguler Anda bisa cocok dengan semua atau sebagian dari string versi target. Anda juga dapat menggunakan jangkar ^ dan $ untuk mencocokkan awal, akhir, atau keseluruhan string target.

Audiens pengguna mencakup semua,
mencakup setidaknya satu dari,
tidak termasuk semua,
tidak termasuk setidaknya satu dari
Pilih satu atau beberapa audiens Analytics untuk menargetkan pengguna yang mungkin disertakan dalam eksperimen Anda. Beberapa eksperimen yang menargetkan audiens Google Analytics mungkin memerlukan beberapa hari untuk mengumpulkan data karena mereka tunduk pada latensi pemrosesan data Analytics . Kemungkinan besar Anda akan mengalami penundaan ini dengan pengguna baru, yang biasanya terdaftar dalam audiens yang memenuhi syarat 24-48 jam setelah pembuatan, atau untuk audiens yang baru dibuat .
Properti pengguna Untuk teks:
mengandung,
tidak mengandung,
sama persis,
berisi ekspresi reguler

Untuk nomor:
<, , =, , >
Properti pengguna Analytics digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen, dengan berbagai opsi untuk memilih nilai properti pengguna.

Di klien, Anda hanya dapat menetapkan nilai string untuk properti pengguna. Untuk kondisi yang menggunakan operator numerik, layanan Remote Config mengonversi nilai properti pengguna yang sesuai menjadi integer/float.
Saat menggunakan operator berisi regex , Anda dapat membuat ekspresi reguler dalam format RE2 . Ekspresi reguler Anda bisa cocok dengan semua atau sebagian dari string versi target. Anda juga dapat menggunakan jangkar ^ dan $ untuk mencocokkan awal, akhir, atau keseluruhan string target.
Negara/Wilayah T/A Satu atau beberapa negara atau wilayah yang digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen.
Bahasa T/A Satu atau beberapa bahasa dan lokal yang digunakan untuk memilih pengguna yang mungkin disertakan dalam eksperimen.
Pertama buka Lebih dari
Kurang dari
Di antara
Targetkan pengguna berdasarkan pertama kali mereka membuka aplikasi Anda, yang ditentukan dalam hari. Kriteria penargetan ini hanya tersedia untuk Firebase In-App Messaging.
Keterlibatan aplikasi terakhir Lebih dari
Kurang dari
Di antara
Targetkan pengguna berdasarkan terakhir kali mereka berinteraksi dengan aplikasi Anda, yang ditentukan dalam hari. Kriteria penargetan ini hanya tersedia untuk Firebase In-App Messaging.

Metrik Pengujian A/B

Saat membuat eksperimen, Anda memilih metrik utama atau sasaran , yang digunakan untuk menentukan varian pemenang. Anda juga harus melacak metrik lain untuk membantu Anda lebih memahami performa setiap varian eksperimen dan melacak tren penting yang mungkin berbeda untuk setiap varian, seperti retensi pengguna, stabilitas aplikasi, dan pendapatan pembelian dalam aplikasi. Anda dapat melacak hingga lima metrik non-sasaran dalam eksperimen Anda.

Misalnya, Anda telah menambahkan pembelian dalam aplikasi baru ke aplikasi Anda dan ingin membandingkan keefektifan dua pesan "dorongan" yang berbeda. Dalam hal ini, Anda mungkin memutuskan untuk memilih untuk menetapkan Pendapatan pembelian sebagai metrik sasaran karena Anda ingin varian pemenang mewakili notifikasi yang menghasilkan pendapatan pembelian dalam aplikasi tertinggi. Dan karena Anda juga ingin melacak varian mana yang menghasilkan lebih banyak konversi di masa mendatang dan pengguna yang dipertahankan, Anda dapat menambahkan yang berikut ini di metrik Lainnya untuk dilacak :

  • Estimasi pendapatan total untuk melihat perbedaan antara pembelian dalam aplikasi dan pendapatan iklan Anda di antara kedua varian
  • Retensi (1 hari) , Retensi (2-3 hari) , Retensi (4-7 hari) untuk melacak retensi pengguna harian/mingguan Anda

Tabel berikut memberikan detail tentang cara metrik sasaran dan metrik lainnya dihitung.

Metrik sasaran

Metrik Keterangan
Pengguna bebas crash Persentase pengguna yang tidak mengalami error di aplikasi Anda yang terdeteksi oleh Firebase Crashlytics SDK selama eksperimen.
Taksiran pendapatan iklan Taksiran penghasilan iklan.
Perkiraan total pendapatan Nilai gabungan untuk pembelian dan taksiran pendapatan iklan.
Pendapatan pembelian Nilai gabungan untuk semua peristiwa purchase dan in_app_purchase .
Retensi (1 hari) Jumlah pengguna yang kembali ke aplikasi Anda setiap hari.
Retensi (2-3 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 2-3 hari.
Retensi (4-7 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 4-7 hari.
Retensi (8-14 hari) Jumlah pengguna yang kembali ke aplikasi Anda dalam 8-14 hari.
Retensi (15+ hari) Jumlah pengguna yang kembali ke aplikasi Anda 15 hari atau lebih setelah mereka terakhir menggunakannya.
first_open Peristiwa Analytics yang dipicu saat pengguna pertama kali membuka aplikasi setelah menginstal atau menginstal ulang. Digunakan sebagai bagian dari corong konversi.

Metrik lainnya

Metrik Keterangan
notifikasi_dismiss Peristiwa Analytics yang terpicu saat notifikasi yang dikirim oleh Notifications Composer ditutup (khusus Android).
notifikasi_terima Peristiwa Analytics yang terpicu saat notifikasi yang dikirim oleh Notifications composer diterima saat aplikasi berada di latar belakang (khusus Android).
os_update Peristiwa Analytics yang melacak saat sistem operasi perangkat diperbarui ke versi baru. Untuk mempelajari lebih lanjut, lihat Peristiwa yang dikumpulkan secara otomatis .
screen_view Peristiwa Analytics yang melacak layar yang dilihat dalam aplikasi Anda. Untuk mempelajari lebih lanjut, lihat Melacak Tampilan Layar .
session_start Peristiwa Analytics yang menghitung sesi pengguna di aplikasi Anda. Untuk mempelajari lebih lanjut, lihat Acara yang dikumpulkan secara otomatis .