Tentang peluncuran Remote Config

Panduan ini berisi informasi tentang konsep-konsep utama terkait peluncuran Remote Config, sehingga Anda dapat:

Memahami keanggotaan grup peluncuran

Saat Anda membuat peluncuran baru dan menetapkan persentase, Firebase akan menempatkan porsi audience yang berukuran sama ke dalam grup kontrol untuk mendapatkan hasil yang akurat saat membandingkan performa fitur yang diaktifkan, sehingga menghasilkan grup berikut ini.

  • Aktif: Perangkat pengguna yang ditetapkan ke grup ini akan menerima nilai yang Anda konfigurasikan dalam peluncuran.
  • Kontrol: Perangkat pengguna yang ditetapkan ke grup ini akan menerima nilai yang seharusnya mereka terima dari Remote Config, bukan nilai peluncuran.
  • Belum ditetapkan: Perangkat pengguna dalam grup ini akan menerima nilai yang seharusnya mereka terima dari Remote Config, tetapi tidak digunakan dalam hasil perbandingan peluncuran.

Artinya, jika Anda meluncurkan ke 2% pengguna, mereka akan ditambahkan ke grup Aktif dan 2% pengguna lainnya ditambahkan ke grup Kontrol yang digunakan untuk perbandingan. 96% pengguna Anda tetap berada dalam grup yang Belum ditetapkan.

Pendekatan ini memastikan perbandingan yang adil antara performa pengguna dan perangkat yang menerima nilai peluncuran dan yang tidak, serta memungkinkan Anda menentukan keberhasilan atau kegagalan peluncuran secara efektif pada halaman Hasil Peluncuran.

Penetapan grup peluncuran bersifat konsisten di semua fase peluncuran. Artinya, dalam peluncuran yang sama, jika Anda mengurangi persentasenya menjadi 0%, semua pengguna akan kembali menerima parameter value yang ditetapkan dalam template Remote Config. Jika nanti Anda memutuskan untuk meningkatkan persentase peluncuran, pengguna yang sebelumnya merupakan anggota grup Aktif atau Kontrol akan kembali ke grup awalnya dan akan menerima nilai yang konsisten dengan kelompok tersebut.

Setelah memverifikasi bahwa rilis Anda berhasil dan memutuskan untuk meluncurkannya secara penuh ke 100% pengguna yang ditargetkan, Firebase tidak lagi akan menggunakan grup kontrol dan semua pengguna dan perangkat yang ditargetkan akan menerima nilai peluncuran.

Kapan harus menggunakan peluncuran dibandingkan dengan pengujian A/B?

Peluncuran Remote Config dan A/B Testing cocok untuk kasus penggunaan yang sedikit dan dapat digunakan dengan cara yang saling melengkapi.

Rollouts adalah rilis bertahap, dan sering digunakan untuk merilis fitur baru untuk sekelompok pengguna tertentu. Anda mungkin ingin menargetkan pengguna di negara tertentu, atau menggunakan versi aplikasi tertentu. Gunakan peluncuran untuk memitigasi risiko, untuk menguji fitur baru di lingkungan aktual, dengan kontrol yang ketat, sehingga Anda dapat melihat performa fitur tersebut. Anda juga dapat memantau performa layanan backend dengan penambahan fitur baru, dan memperkiraan penggunaan untuk memastikan perubahan Anda skalabel sebelum dirilis ke audience yang lebih luas.

Peluncuran adalah alat yang sangat baik untuk situasi ketika Anda mengimplementasikan fitur baru yang secara signifikan mengubah fungsionalitas, perubahan yang dapat mengakibatkan hasil yang tidak dapat diprediksi, atau perubahan yang dapat memengaruhi infrastruktur backend, layanan, atau API eksternal Anda.

A/B Testing memberi Anda kemampuan untuk menyajikan beberapa versi fitur atau elemen aplikasi. Misalnya, memperbarui tampilan dan nuansa UI, mengubah teks iklan, memperbarui tingkat kesulitan game. Anda kemudian dapat menampilkan berbagai variasi kepada pengguna untuk mempelajari opsi mana yang memberikan hasil yang lebih baik berdasarkan metrik pilihan Anda (seperti engagement pengguna, klik iklan, dan pendapatan).

Gunakan A/B Testing untuk pengambilan keputusan berbasis data, pengoptimalan, dan memahami preferensi pengguna. Ini sangat cocok untuk situasi di mana Anda memiliki beberapa opsi yang sebanding dan tujuan yang sangat spesifik. Misalnya, A/B Testing cocok untuk perubahan yang ingin Anda sesuaikan dengan aplikasi Anda guna meningkatkan metrik tertentu, seperti menguji penempatan iklan banner mana yang menghasilkan lebih banyak klik.

Sebaiknya gabungkan peluncuran Remote Config dan A/B Testing dalam strategi menyeluruh: Pertama, buat A/B Testing dengan sekelompok pengguna terbatas untuk menentukan varian yang memberikan hasil optimal untuk metrik utama. Kemudian, setelah A/B Testing menentukan pemimpin, buat peluncuran dengan varian yang unggul. Pantau stabilitas dan metrik utamanya saat Anda secara bertahap meningkatkan jumlah pengguna yang terekspos dan, setelah Anda yakin dengan performanya, luncurkan hingga 100%.

Memahami hasil peluncuran

Setelah memublikasikan peluncuran, Anda akan langsung melihat hasilnya.

Anda dapat melihat hasilnya dalam berbagai cara:

  • Dari halaman Parameters, luaskan parameter yang Anda konfigurasi untuk Peluncuran dan, di bawah peluncuran, klik View results.
  • Dari halaman Rollouts, klik nama peluncuran.

Pemilih aplikasi di bagian atas halaman Hasil memungkinkan Anda memilih tampilan untuk aplikasi tertentu. Hasil dibagi menjadi beberapa bagian:

  • Bagian Ringkasan, yang menampilkan Persentase peluncuran yang dikonfigurasi dan menyediakan kemampuan untuk melakukan roll back atau mengedit peluncuran. Ketika diperluas, bagian tersebut menampilkan Ringkasan dari detail konfigurasi peluncuran dan Change history.

  • Bagian Users, yang menampilkan jumlah penginstalan aplikasi unik yang telah mengambil template peluncuran di grup berikut:

    • Aktif: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai peluncuran.
    • Kontrol: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai yang tidak berubah.
    • Target: Estimasi total jumlah instance yang cocok dengan kondisi yang Anda tetapkan dalam peluncuran, yang seharusnya menerima peluncuran atau nilai yang tidak berubah.

    Pelajari lebih lanjut di Memahami keanggotaan grup peluncuran.

  • Bagian Crashlytics dan Analytics, yang menampilkan data perbandingan grup Aktif dan Kontrol. Anda dapat memfilter data yang dikumpulkan selama 24 jam terakhir, Sejak terakhir dipublikasikan, atau 7 hari terakhir. 24 jam terakhir adalah tampilan default-nya.

Hasil Crashlytics untuk peluncuran

Anda dapat melihat jumlah total Error, Non-fatal, dan ANR yang terjadi selama peluncuran. Setiap kategori hasil menunjukkan grafik batang yang membandingkan total pengguna mentah Aktif dan Kontrol yang memenuhi kondisi peluncuran.

  • Error: Menampilkan jumlah dan persentase error, serta jumlah pengguna unik yang mengalami error pada grup Aktif dan Kontrol.
  • Non-fatal: Menampilkan jumlah dan persentase error non-fatal, jumlah pengguna unik yang mengalami error non-fatal.
  • ANR (khusus aplikasi Android): Menampilkan jumlah dan persentase peristiwa "Aplikasi Tidak Merespons", serta jumlah pengguna unik yang mengalami satu atau beberapa peristiwa ANR.

Untuk mengetahui informasi selengkapnya tentang error, Anda dapat mengklik Lihat selengkapnya di Crashlytics. Tindakan ini akan membuka halaman Crashlytics dengan filter aktif untuk peluncuran yang hasilnya Anda periksa. Hasil peluncuran di halaman Crashlytics mengukur semua pengguna yang pernah terpapar masing-masing varian, yaitu Aktif atau Kontrol. Anda dapat memilih untuk melihat error grup Kontrol, error grup Aktif, atau keduanya.

Hasil Google Analytics untuk peluncuran

Bagian hasil peluncuran Google Analytics akan membandingkan metrik Analytics untuk semua pengguna yang pernah terpapar ke grup Aktif atau Kontrol secara detail dan dalam tampilan grafik. Terdapat tiga metrik yang tersedia:

  • Total pendapatan: Menampilkan jumlah total pendapatan, termasuk Pendapatan iklan dan Pendapatan pembelian, dalam USD. Anda dapat memfilter hasil guna menampilkan hasil khusus untuk Pendapatan iklan atau Pendapatan pembelian.
  • Total konversi: Menampilkan jumlah mentah dari jumlah semua peristiwa konversi. Anda dapat memfilter hasil berdasarkan konversi yang ingin disorot.
  • Total waktu engagement: Menampilkan total waktu engagement yang dihabiskan pengguna Anda dengan salah satu varian peluncuran. Total waktu engagement ditampilkan dalam format Jam:Menit:Detik. Misalnya, 01:31:28. Grafik ini menunjukkan data dari jangka waktu yang Anda pilih di atas bagian Crashlytics.

Langkah berikutnya