Panduan ini memberikan informasi tentang konsep utama terkait peluncuran Remote Config, sehingga Anda dapat:
- Pahami cara kerja keanggotaan grup peluncuran.
- Ketahui kapan harus menggunakan peluncuran dan kapan harus menggunakan Pengujian A/B.
- Pelajari cara menafsirkan hasil peluncuran.
Memahami keanggotaan grup peluncuran
Saat Anda membuat peluncuran baru dan menetapkan persentase, Firebase akan menempatkan sebagian audiens yang berukuran sama ke dalam grup kontrol untuk mendapatkan hasil yang akurat saat membandingkan performa fitur yang diaktifkan, sehingga menghasilkan grup berikut.
- Aktif: Perangkat pengguna yang ditetapkan ke grup ini akan menerima nilai yang dikonfigurasi dalam peluncuran.
- Kontrol: Perangkat pengguna yang ditetapkan ke grup ini menerima nilai yang seharusnya diterima dari Remote Config, bukan nilai peluncuran.
- Belum ditetapkan: Perangkat pengguna dalam grup ini akan menerima nilai yang biasanya akan diterima dari Remote Config, tetapi tidak digunakan dalam hasil perbandingan peluncuran.
Artinya, jika Anda meluncurkan ke 2% pengguna, mereka akan ditambahkan ke grup Diaktifkan dan 2% pengguna lainnya ditambahkan ke grup Control, yang digunakan untuk perbandingan. 96% pengguna Anda tetap belum ditetapkan.
Pendekatan ini memastikan perbandingan yang adil antara performa pengguna dan perangkat yang menerima nilai peluncuran dan perangkat yang tidak serta memungkinkan Anda menentukan keberhasilan atau kegagalan peluncuran secara efektif di halaman Hasil Peluncuran.
Penetapan grup peluncuran konsisten di semua fase peluncuran. Artinya, dalam peluncuran yang sama, jika Anda mengurangi persentase menjadi 0%, semua pengguna akan kembali menerima parameter value yang ditentukan dalam template Remote Config. Jika nanti Anda memutuskan untuk meningkatkan persentase peluncuran, pengguna yang merupakan bagian dari grup Aktif atau Kontrol sebelumnya akan kembali ke grup yang awalnya ditetapkan dan akan menerima nilai yang konsisten dengan grup tersebut.
Setelah memastikan bahwa rilis berhasil dan memutuskan untuk diluncurkan sepenuhnya kepada 100% pengguna yang ditargetkan, Firebase tidak lagi menggunakan grup kontrol dan semua pengguna serta perangkat yang ditargetkan akan menerima nilai peluncuran.
Kapan harus menggunakan peluncuran dibandingkan dengan pengujian A/B?
Peluncuran Remote Config dan A/B Testing sesuai untuk kasus penggunaan yang sedikit berbeda dan dapat digunakan sebagai pelengkap.
Peluncuran adalah rilis bertahap, dan sering digunakan untuk merilis fitur baru ke grup pengguna tertentu. Anda mungkin ingin menarget pengguna di negara tertentu, atau menggunakan versi aplikasi tertentu. Gunakan peluncuran untuk mengurangi risiko, menguji fitur baru di lingkungan nyata, dengan kontrol yang ketat, sehingga Anda dapat melihat performa fitur tersebut. Anda juga dapat memantau performa layanan backend dengan beban tambahan fitur baru, dan memperkirakan penggunaan untuk memastikan perubahan Anda skalabel sebelum merilisnya ke audiens yang lebih luas.
Peluncuran adalah alat yang sangat baik untuk situasi saat Anda menerapkan fitur baru yang mengubah fungsi secara signifikan, perubahan yang dapat memberikan hasil yang tidak dapat diprediksi, atau perubahan yang dapat memengaruhi infrastruktur backend, layanan, atau API eksternal Anda.
A/B Testing memberi Anda kemampuan untuk mempresentasikan beberapa versi fitur atau elemen aplikasi, misalnya, memperbarui tampilan dan nuansa UI, mengubah teks iklan, memperbarui kesulitan level game. Selanjutnya, Anda dapat menampilkan berbagai variasi kepada pengguna untuk mempelajari opsi yang mendorong hasil yang lebih baik berdasarkan metrik yang Anda pilih (seperti interaksi pengguna, klik iklan, dan pendapatan).
Gunakan A/B Testing untuk pengambilan keputusan dan pengoptimalan berdasarkan data, serta untuk memahami preferensi pengguna Anda. Cara ini sangat cocok untuk situasi saat Anda memiliki beberapa opsi yang sebanding dan sasaran yang sangat spesifik. Misalnya, A/B Testing sesuai untuk perubahan saat Anda ingin menyesuaikan aplikasi untuk meningkatkan metrik tertentu, seperti menguji penempatan iklan banner mana yang menghasilkan lebih banyak klik.
Sebaiknya gabungkan peluncuran Remote Config dan A/B Testing dalam strategi menyeluruh: Pertama, buat A/B Testing dengan sekelompok pengguna terbatas untuk menentukan varian yang memberikan hasil optimal untuk metrik kunci Anda. Kemudian, setelah A/B Testing menentukan posisi teratas, buat peluncuran dengan varian unggul. Pantau stabilitas dan metrik utamanya saat Anda meningkatkan jumlah pengguna yang terekspos secara bertahap dan, setelah Anda yakin dengan performanya, luncurkan ke 100%.
Memahami hasil peluncuran
Setelah memublikasikan peluncuran, Anda akan langsung melihat hasilnya.
Anda dapat melihat hasil dengan beberapa cara:
- Dari halaman Parameters, luaskan parameter yang Anda konfigurasi untuk Peluncuran dan, di bawah peluncuran, klik View results.
- Dari halaman Launchs, klik nama peluncuran.
Pemilih aplikasi di bagian atas halaman Results memungkinkan Anda memilih tampilan untuk aplikasi tertentu. Hasil dibagi menjadi beberapa bagian:
- Bagian Summary, yang menunjukkan Persentase peluncuran yang dikonfigurasi, dan memberikan kemampuan untuk melakukan roll back atau mengedit peluncuran. Jika diperluas, Ringkasan detail konfigurasi peluncuran dan Histori perubahan akan ditampilkan.
Bagian Pengguna, yang menunjukkan jumlah penginstalan aplikasi unik yang telah mengambil template peluncuran dalam grup berikut:
- Enabled: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai peluncuran.
- Kontrol: Jumlah instance aplikasi yang cocok dengan kondisi peluncuran target dan telah mengambil nilai yang tidak berubah.
- Target: Estimasi jumlah total instance yang cocok dengan kondisi yang Anda tetapkan dalam peluncuran, yang akan menerima peluncuran atau nilai yang tidak berubah.
Pelajari lebih lanjut di Memahami keanggotaan grup peluncuran.
Bagian Crashlytics dan Analytics, yang menampilkan data perbandingan untuk grup Diaktifkan dan Kontrol. Anda dapat memfilter data yang dikumpulkan selama 24 jam terakhir, Sejak terakhir dipublikasikan, atau 7 hari terakhir. 24 jam terakhir adalah tampilan default-nya.
Hasil Crashlytics untuk peluncuran
Anda dapat melihat jumlah total Error, Non-fatal, dan ANR yang terjadi selama peluncuran. Setiap kategori hasil menampilkan grafik batang yang membandingkan total mentah pengguna Enabled dan Control yang memenuhi kondisi peluncuran.
- Error: Menampilkan jumlah dan persentase error, serta jumlah pengguna unik yang mengalami error untuk grup Diaktifkan dan Kontrol.
- Non-fatal: Menampilkan jumlah dan persentase error non-fatal, jumlah pengguna unik yang mengalami error non-fatal.
- ANR (khusus aplikasi Android): Menampilkan jumlah dan persentase peristiwa "Aplikasi Tidak Merespons", serta jumlah pengguna unik yang mengalami satu atau beberapa peristiwa ANR.
Untuk mengetahui informasi lebih mendetail tentang error, Anda dapat mengklik Lihat lainnya di Crashlytics. Tindakan ini akan membuka halaman Crashlytics dengan filter aktif untuk peluncuran yang hasilnya Anda periksa. Hasil peluncuran di halaman Crashlytics mengukur semua pengguna yang pernah terpapar varian masing-masing, Enabled atau Control. Anda dapat memilih untuk melihat error Grup kontrol, Error grup yang diaktifkan, atau keduanya.
Hasil Google Analytics untuk peluncuran
Bagian hasil peluncuran Google Analytics membandingkan metrik Analytics untuk semua pengguna yang pernah diekspos ke grup Diaktifkan atau Kontrol secara mendetail dan dalam tampilan grafik. Tiga metrik disediakan:
- Total revenue: Menampilkan jumlah total pendapatan, termasuk Pendapatan iklan dan Pendapatan pembelian, dalam USD. Anda dapat memfilter hasil untuk menampilkan hasil khusus untuk Pendapatan iklan atau Pendapatan pembelian.
- Total konversi: Menampilkan jumlah mentah dari jumlah semua peristiwa konversi. Anda dapat memfilter hasil menurut konversi yang ingin ditandai.
- Total waktu engagement: Menampilkan total waktu engagement yang dihabiskan pengguna dengan salah satu varian peluncuran. Total waktu engagement ditampilkan dalam format Jam:Menit:Detik. Misalnya, 01:31:28. Grafik ini menampilkan data dari jangka waktu yang Anda pilih di atas bagian Crashlytics.