Mengimplementasikan pengujian A/B untuk game Unity dengan Firebase Remote Config

1. Pengantar

Dalam codelab ini, Anda akan mempelajari cara membuat eksperimen Remote Config menggunakan A/B Testing untuk game contoh, MechaHamster: Level Up with Firebase edition, yang Anda modifikasi di Instrument your game with Firebase Remote Config.

Pengujian A/B dengan Remote Config memungkinkan Anda menguji perubahan pada UI, fitur, atau kampanye interaksi aplikasi pada audiens yang ditargetkan sebelum meluncurkannya ke audiens yang lebih luas. Anda juga dapat menggunakan hasil eksperimen untuk:

• Tentukan varian nilai parameter mana yang meningkatkan metrik utama seperti pendapatan dan retensi.
• Temukan subgrup pengguna yang lebih menyukai varian tertentu.
• Kumpulkan dan simpan data eksperimen untuk melakukan analisis tambahan tentang efek dari menetapkan nilai parameter yang berbeda.

Inilah inti dari A/B Testing: memungkinkan Anda mengambil kode yang diinstrumentasikan untuk Remote Config dan meluncurkan eksperimen yang mengontrol nilai yang diterima klien, berdasarkan kondisi Remote Config (termasuk properti pengguna Google Analytics), peluncuran persentase, peristiwa konversi Analytics, dan beberapa kombinasi dari semua hal tersebut.

Pertama, Anda akan menerapkan kondisi yang menentukan siapa yang akan disertakan dalam eksperimen dengan menetapkan properti pengguna berdasarkan tindakan pengguna. Kemudian, Anda akan membuat eksperimen Pengujian A/B yang menggunakan properti pengguna Google Analytics untuk menentukan klien mana yang disertakan dalam eksperimen. Terakhir, Anda akan menggunakan data tersebut untuk lebih memahami audiens Anda.

Yang akan Anda pelajari

• Cara menyiapkan A/B Testing menggunakan nilai Remote Config yang diinstrumentasi
• Cara menggunakan properti pengguna Google Analytics sebagai bagian dari kondisi untuk masuk ke pengujian A/B

Prasyarat

• Selesai Melengkapi game Anda dengan Firebase Remote Config

Yang Anda butuhkan

• Unity 2019.1.0f1 atau yang lebih tinggi dengan dukungan build iOS dan/atau Android

2. Mengaktifkan Menu Debug

Ada Menu Debug yang tersembunyi di project, dan tombol untuk mengakses menu ini ada di game, tetapi saat ini tidak diaktifkan. Anda harus mengaktifkan tombol untuk mengaksesnya dari prefab MainMenu.

1. Di editor Unity, pilih tab Project, lalu di bagian Assets, luaskan Hamster > Prefabs > Menus, lalu klik MainMenu.

2. Di hierarki prefab, temukan sub-objek yang dinonaktifkan bernama DebugMenuButton, lalu klik untuk membukanya di tab Inspector.

3. Di tab Inspector, centang kotak di sudut kiri atas di samping kolom teks yang berisi DebugMenuButton untuk mengaktifkannya.

4. Simpan prefab.

Jika Anda menjalankan game di editor atau di perangkat, menu kini dapat diakses.

3. Mengaktifkan submenu Remote Config

1. Dari tab Project di Unity Editor, luaskan Assets > Hamster > Prefabs > Menus, lalu klik dua kali objek DebugMenu untuk membukanya di tab Hierarchy editor.
   
   
2. Di tab Hierarchy, luaskan hierarki dan klik sub-objek di bagian DebugMenu > Panel, yang diberi label Remote Config Actions.

3. Di tab Inspector Unity, aktifkan Remote Config Actions dengan mencentang kotak di sebelah kiri kolom teks yang berisi nama objek.

Objek ini memiliki dua turunan GameObject bernama Set Bored Of Subtitle dan Set Enjoys Subtitle, yang keduanya dikonfigurasi untuk memanggil metode yang ada tetapi belum diterapkan di DebugMenu.cs.

4. Mereset penggantian teks ke default dalam aplikasi

Dalam codelab sebelumnya, Anda mengganti nilai default parameter sebagai JSON dan menggunakan kondisi untuk menayangkan varian yang berbeda. Sebagai bagian dari codelab ini, Anda akan menghapus kondisi yang Anda buat dan memperkenalkan kembali default dalam aplikasi, dan Anda hanya akan menggantinya dengan hasil A/B Testing.

Untuk mengaktifkan kembali default dalam aplikasi:

1. Buka halaman Remote Config di Firebase console, lalu klik ikon pensil di samping parameter subtitle_override untuk membuka panel samping Edit parameter.
2. Klik ikon X di samping kondisi untuk menghapusnya.
3. Di samping nilai default yang tersisa, aktifkan tombol Use in-app default.

4. Klik Simpan untuk menyimpan perubahan, lalu klik Publikasikan perubahan untuk memublikasikan perubahan.

5. Menetapkan Properti Pengguna dalam fungsi Debug

Sekarang Anda akan menulis isi fungsi untuk beberapa fungsi Google Analytics yang telah dikonfigurasi sebelumnya tetapi belum diimplementasikan di DebugMenu.cs (yang dapat ditemukan di Assets > Hamster > Scripts > States).

Fungsi ini menetapkan properti pengguna, yang merupakan cara untuk mendeskripsikan segmen basis pengguna Anda dan digunakan untuk mencatat pendapat pengguna tentang subtitel game.

Terapkan SetUserBoredOfSubtitle dan SetUserEnjoysSubtitle dengan menemukan versi yang ada di DebugMenu.cs dan menggantinya sebagai berikut:

void SetUserBoredOfSubtitle()
{
  Firebase.Analytics.FirebaseAnalytics.SetUserProperty("subtitle_sentiment", "bored");
}

void SetUserEnjoysSubtitle()
{
  Firebase.Analytics.FirebaseAnalytics.SetUserProperty("subtitle_sentiment", "enjoys");
}

Jika aplikasi Anda dikonfigurasi dengan benar menggunakan Google Analytics, Anda dapat memanggil salah satu fungsi ini untuk membuat properti tersedia untuk kondisi Remote Config. Untuk memanggil SetUserBoredOfSubtitle dari perangkat seluler, mulai game dan tekan tombol Debug Menu di menu utama, lalu tekan Set Bored of Subtitle.

Catatan: Jika Anda telah menerapkan Remote Config Real-time menggunakan OnConfigUpdateListener, mengubah evaluasi kondisi tidak akan menyebabkan klien mengambil ulang nilai kondisional baru. Fungsi real-time harus selalu melengkapi perilaku pengambilan dan aktivasi yang ada, bukan menggantikannya, jadi Anda tetap perlu menggunakan FetchRemoteConfig class MainGame di Assets/Hamster/Scripts/States/MainMenu.cs dan Assets/Hamster/Scripts/States/BaseLevelSelect.cs untuk FetchAndActivate nilai bersyarat baru.

6. Membuat Dimensi Kustom

Selanjutnya, Anda akan menyiapkan berbagai varian teks untuk subtitle_override guna melihat teks mana yang paling efektif. Namun, dalam pengujian A/B, Anda hanya akan menayangkan varian ini kepada pengguna yang perasaannya tentang subtitel saat ini (seperti yang tercatat dalam subtitle_sentiment) mencakup kata "bosan".

Anda akan menggunakan dimensi kustom untuk membuat dan melacak parameter kustom pada peristiwa Analytics. Lihat Dimensi dan metrik kustom untuk mengetahui informasi selengkapnya.

Untuk membuat dimensi kustom baru:

1. Buka Firebase console, luaskan menu Analytics, lalu pilih Definisi kustom.
2. Dari halaman Definisi kustom, klik Buat dimensi kustom.
3. Di jendela Dimensi kustom baru, tetapkan Nama dimensi ke "Sentimen Subtitel" dan, dari drop-down Cakupan, pilih Pengguna.
4. Untuk kolom Properti pengguna, pilih subtitle_sentiment.

Catatan: Karena perlu waktu beberapa jam agar properti pengguna dapat diteruskan dari Google Analytics ke Firebase, subtitle_sentiment mungkin tidak langsung tersedia dari drop-down Properti Pengguna. Dalam hal ini, Anda dapat mengetik atau menempelkannya ke kolom secara manual.

7. Menyiapkan eksperimen A/B Testing

Selanjutnya, buat eksperimen Pengujian A/B untuk menetapkan berbagai nilai untuk subtitle_override yang akan diuji satu sama lain untuk mengoptimalkan retensi pengguna selama dua hingga tiga hari.

1. Pertama, pilih Edit pada parameter subtitle_override di halaman Remote Config Firebase console:

2. Dari dalam dialog Edit parameter yang muncul, klik Tambahkan baru.

3. Dari daftar yang muncul, pilih Eksperimen.

4. Masukkan nama dan deskripsi untuk eksperimen Anda.

5. Selanjutnya, pilih kondisi penargetan. Pertama, pilih Aplikasi Anda dari menu drop-down.

6. Selanjutnya, klik Dan untuk menambahkan kondisi baru, lalu pilih Properti Pengguna dan pilih subtitle_sentiment. Jika tidak muncul, masukkan secara manual.
7. Karena Anda hanya ingin menyetel subtitel untuk orang yang sentimen subtitelnya saat ini mencakup "bosan", pilih berisi dan ketik bored.
8. Secara opsional, pilih persentase audiens yang cocok dengan kriteria di atas untuk diekspos ke pengujian. Pilih 100% untuk menghindari keacakan yang tidak dapat Anda kontrol dengan mudah.

9. Selanjutnya, pilih sasaran yang akan coba dimaksimalkan oleh pengujian. Pilih Retensi (2-3 hari).

10. Selanjutnya, siapkan parameter eksperimen dan buat berbagai varian subtitel . Varian ini adalah nilai berbeda yang akan ditayangkan Pengujian A/B kepada pengguna yang subtitle_sentiment-nya berisi 'bosan', dan Pengujian A/B akan menentukan varian mana yang terbaik untuk memaksimalkan retensi.
11. Masukkan nilai parameter berikut untuk Varian A:

    {"text":"A: A game about a mechanical hamster","fontSize":8,"textColor":{"r":0.0,"g":255.0,"b":0.0,"a":255.0}}
    

12. Masukkan nilai parameter berikut untuk Varian B:

    {"text":"B: A game about a mechanical hamster","fontSize":14,"textColor":{"r":255.0,"g":0.0,"b":0.0,"a":255.0}}
    

13. Tetapkan rasio varian dengan bilangan bulat sebagai berikut:
    • Dasar pengukuran: 1
    • Varian A: 100
    • Variant B: 100
    Hal ini akan menghasilkan total bobot 0,5% untuk Baseline, 49,8% untuk Varian A, dan 49,8% untuk Varian B.Varian ini menentukan bahwa satu dari 201 kali, A/B Testing akan menayangkan default kepada orang yang bosan dengan subtitel, tetapi 200/201 kali, A/B Testing akan menayangkan salah satu dari dua nilai baru dan menggantikan layar judul.
14. Simpan dan kirim dengan mengklik Mulai eksperimen, lalu klik Mulai di pop-up konfirmasi.

8. Jalankan metode Set User Property dan refresh

Sekarang Anda telah menetapkan berbagai properti tentang pengguna, yang kemudian dapat digunakan untuk mengarahkan logika atau presentasi game Anda.

Jika Anda belum pernah menjalankan metode SetUserProperty atau telah menyetelnya ke enjoys, Anda akan tetap melihat subtitel default saat membuka game.

Jika Anda telah menyetelnya ke bored (sebelum mengambil ulang), Anda akan melihat salah satu nilai baru dalam rasio sekitar 50/50.

Setelah perangkat memasuki eksperimen Pengujian A/B, nilai yang diterima dari eksperimen tersebut tidak akan berubah dan tetap ada per penginstalan. Akibatnya, untuk menerima salah satu nilai eksperimental lainnya, Anda harus membuat penginstalan baru dengan menginstal ulang game ke perangkat/simulator yang sama atau menginstal game ke perangkat/simulator baru.

Dalam pengujian A/B nyata yang diluncurkan di seluruh basis pengguna, Anda harus memberikan bobot yang sama pada dasar pengukuran dengan varian lainnya. Namun, dalam hal ini, Anda menetapkan probabilitas yang sangat miring untuk memvalidasi bahwa eksperimen berfungsi. Jika (dalam kasus 1/201), Anda masih menerima nilai default, coba instal ulang game ke perangkat/simulator Anda.

Efek lainnya adalah mengalihkan kembali properti pengguna ke enjoys tidak akan mengubah nilai kembali ke dasar, tetapi Anda dapat melakukannya dengan beralih ke enjoys dan menginstal ulang.

Catatan: Jika ingin menguji setiap nilai varian dalam eksperimen, Anda dapat menambahkan Firebase Installations SDK, mengambil token penginstalan, dan menempatkan perangkat secara manual ke dalam grup eksperimen.

9. Selamat!

Anda telah menggunakan A/B Testing Remote Config untuk bereksperimen dengan berbagai nilai Remote Config dan menentukan pengaruh setiap nilai terhadap metrik Analytics.

Yang telah kita bahas

• Cara menyiapkan A/B Testing menggunakan nilai Remote Config yang diinstrumentasi
• Cara menggunakan Properti Pengguna Google Analytics sebagai bagian dari kondisi untuk masuk ke eksperimen Pengujian A/B

Langkah Berikutnya

Setelah eksperimen selesai, Anda dapat memilih salah satu dari daftar eksperimen di project Anda untuk memutuskan apa yang ingin Anda lakukan dengan eksperimen tersebut. Apakah Anda ingin memilih salah satu sebagai "pemenang" atau melakukan lebih banyak eksperimen?

Jika Anda ingin menerapkan analisis Anda sendiri pada hasil, pertimbangkan untuk mengekspor ke BigQuery.

Jika Anda lebih suka Firebase menerapkan machine learning secara otomatis ke eksperimen persisten yang disesuaikan dengan setiap pengguna, pertimbangkan personalisasi Remote Config.