了解 2023 年 Google I/O 大会上介绍的 Firebase 亮点。了解详情

A/B Testi ile Uygulama İçi Mesajlaşma Deneyleri Oluşturun

Kullanıcılarınıza ulaşırken veya yeni bir pazarlama kampanyası başlatırken, doğru anladığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçilen bölümlerinde mesaj değişkenlerini test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister bir teklifte daha iyi elde tutma ister dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için taban çizgisinden daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analiz yapabilir.

A/B özelliği varyantlarını taban çizgisiyle test etmek için aşağıdakileri yapın:

  1. Deneyinizi oluşturun.
  2. Deneyinizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Bir deneme oluştur

Firebase Uygulama İçi Mesajlaşma kullanan bir deney, tek bir uygulama içi mesajın birden çok çeşidini değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'in etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics'i etkinleştirmediyseniz, Firebase konsolundaki > Project settings'i kullanarak erişebileceğiniz Entegrasyonlar sekmesinde etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.

  3. Deney oluştur 'a tıklayın ve ardından, denemek istediğiniz hizmet istendiğinde Uygulama İçi Mesajlaşma'yı seçin.

  4. Alternatif olarak, Firebase konsolu gezinme çubuğunda Etkileşim öğesini genişletin ve ardından Uygulama İçi Mesajlaşma öğesini tıklayın. Ardından Yeni deneme 'yi tıklayın.

  5. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri 'yi tıklayın.

  6. Önce denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Aşağıdakileri içeren seçenekleri belirleyerek, kullanıcılarınızın bir alt kümesini denemenize katılmaları için de hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Denemeye dahil olabilecek kullanıcıları hedeflemek için kullanılan Analytics kitleleri
    • Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı mülkü
    • Ülke/Bölge: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke veya bölge
    • Cihaz dili: Deneye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • İlk açılış: Kullanıcıları, uygulamanızı ilk açtıkları zamana göre hedefleyin
    • Son uygulama etkileşimi: Kullanıcıları, uygulamanızla son etkileşimde bulundukları zamana göre hedefleyin

  7. Hedef kullanıcıların Yüzdesini ayarlayın: Uygulamanızın kullanıcı tabanının, Denemenizdeki taban çizgisi ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz Hedef kullanıcıları altında ayarlanan ölçütlerle eşleşen yüzdesini seçin. Bu, %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, yinelenen deneyler dahil olmak üzere her deney için kullanıcılara rastgele yeniden atanır.

  8. Varyantlar bölümünde, normal bir uygulama içi mesajlaşma kampanyası için kullandığınız mesaj tasarımı arayüzünü kullanarak temel gruba göndermek için bir temel uygulama içi mesaj yapılandırın.

  9. Denemenize bir varyant eklemek için Varyant Ekle 'yi tıklayın. Varsayılan olarak, deneylerin bir temeli ve bir varyantı vardır.

  10. (isteğe bağlı) Varyant A , Varyant B vb. adlarını değiştirmek için denemenizdeki her değişken için bir ad girin.

  11. (isteğe bağlı) Bir mesaj varyantını daha temel mesajla yan yana karşılaştırmak için Varyantlar bölümünün üst kısmındaki Varyantları karşılaştır düğmesini tıklayın.

  12. Açılır listeden istediğiniz ek metriklerle birlikte deneme varyantlarını değerlendirirken kullanmak üzere denemeniz için bir hedef metriği tanımlayın. Bu metrikler, yerleşik hedefleri (etkileşim, satın alma, gelir, elde tutma vb.), Analytics dönüşüm etkinliklerini ve diğer Analytics etkinliklerini içerir.

  13. Deneme için planlamayı yapılandırın:

    • Deneme için bir Başlangıç ​​ve Bitiş tarihi belirleyin.
    • Uygulama içi mesajların tüm varyantlarda nasıl tetikleneceğini ayarlayın.

  14. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına 300 adede kadar denemeye izin verilir; bu, 24 adede kadar devam eden deneyden oluşabilir, geri kalanı taslak veya tamamlanmış olarak.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili kurulum kimlik doğrulama jetonunu alabilirsiniz. Uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için bu belirteci kullanabilirsiniz. Deneyinizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Kurulum kimlik doğrulama belirtecini aşağıdaki gibi alın:

    Süratli

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

    Amaç-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Firebase konsolu gezinme çubuğunda A/B Testi 'ni tıklayın.
  3. Taslak'a (ve/veya Remote Config denemeleri için Çalıştırılıyor'a ) tıklayın, fareyle denemenizin üzerine gelin, içerik menüsüne ( ) tıklayın ve ardından Test cihazlarını yönet seçeneğine tıklayın.
  4. Bir test cihazı için kurulum kimlik doğrulama jetonunu girin ve bu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazına alındığını onaylayın.

Firebase kurulumları hakkında daha fazla bilgi edinmek için bkz. Firebase kurulumlarını yönetme .

Denemenizi yönetin

İster Remote Config, Bildirim oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluşturun, ardından denemenizi doğrulayıp başlatabilir, çalışırken denemenizi izleyebilir ve devam eden denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz bittiğinde, kazanan değişken tarafından kullanılan ayarları not alabilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlat

  1. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.
  2. Taslak 'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızın denemenize dahil edilecek kullanıcılara sahip olduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütleri karşılayan kullanıcıların %1'i ).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat 'ı tıklayın. Bir seferde proje başına en fazla 24 deney çalıştırabilirsiniz.

Bir denemeyi izleme

Bir deneme bir süre çalıştırıldıktan sonra, ilerlemesini kontrol edebilir ve şimdiye kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.

  2. Çalışıyor'a tıklayın ve ardından denemenizin başlığına tıklayın veya bu başlığı arayın. Bu sayfada, devam eden denemeniz hakkında aşağıdakiler de dahil olmak üzere çeşitli gözlemlenen ve modellenen istatistikleri görüntüleyebilirsiniz:

    • Taban çizgisinden % fark : Belirli bir varyant için bir metriğin taban çizgisine kıyasla iyileştirilmesinin bir ölçüsü. Varyant için değer aralığı ile taban çizgisi için değer aralığı karşılaştırılarak hesaplanır.
    • Taban çizgisini geçme olasılığı : Belirli bir değişkenin seçilen metrik için taban çizgisini geçme olasılığı.
    • observed_metric kullanıcı başına : Deney sonuçlarına göre bu, metrik değerinin zaman içinde düşeceği tahmin edilen aralıktır.
    • Toplam observed_metric : Temel veya değişken için gözlemlenen kümülatif değer. Değer, her deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme , Değer aralığı , Taban çizgisini geçme olasılığı ve En iyi varyant olma olasılığı hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak, bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.

  3. Denemeniz bir süre çalıştırıldıktan sonra (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün), bu sayfadaki veriler, varsa, hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel biçimde sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunun

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan varyantınız olacak kadar uzun süre çalıştıktan sonra, denemeyi kullanıcıların %100'üne sunabilirsiniz. Bu, ilerleyen tüm kullanıcılara yayınlamak için bir değişken seçmenize olanak tanır. Denemeniz net bir kazanan yaratmasa bile, yine de tüm kullanıcılarınıza bir varyant sunmayı seçebilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.
  2. Tamamlandı veya Yürüyor'a tıklayın, tüm kullanıcılara sunmak istediğiniz bir deneye tıklayın, içerik menüsüne ( ) tıklayın ve ardından Değişkeni kullanıma sun'a tıklayın.

  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucuyu kullanan bir deneme için, mesajı deneyin parçası olmayan kalan hedeflenmiş kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Bir Remote Config denemesi için, hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek için bir değişken seçin. Sunumun yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için, deneme oluşturulurken tanımlanan hedefleme ölçütleri şablonunuza yeni bir koşul olarak eklenecektir. Değişiklikleri gözden geçirmek için Remote Config'de İncele'ye tıkladıktan sonra, kullanıma sunumu tamamlamak için Değişiklikleri yayınla'ya tıklayın.
    • Bir Uygulama İçi Mesajlaşma denemesi için, hangi varyantın bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra, yayınlamadan önce (gerekirse) herhangi bir değişiklik yapmanız için FIAM oluşturma ekranına yönlendirileceksiniz.

Bir denemeyi genişletme

Bir denemenin A/B Testi için bir lider ilan etmeye yetecek kadar kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Deneye genel bakışta içerik menüsüne ( ) tıklayın ve ardından Yürütülen deneyi düzenle'ye tıklayın .
  4. Hedefleme iletişim kutusunda, şu anda yürütülen denemede bulunan kullanıcıların yüzdesini artırma seçeneği görüntülenir. Geçerli yüzden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltma veya durdurma

  1. Firebase konsolu gezinme çubuğunun Etkileşim bölümünde, A/B Testi 'ni tıklayın.
  2. Tamamlandı veya Çalışıyor 'a tıklayın, fareyle denemenizin üzerine gelin, içerik menüsüne ( ) tıklayın ve ardından Denemeyi çoğalt veya Denemeyi durdur seçeneğine tıklayın.

kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak, denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme kriteri Operatör(ler) Değer(ler) Not
Sürüm içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir		 Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

İçerir , içermez veya tam olarak eşleşen işleçlerden herhangi birini kullanırken, virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

içerir regex işlecini kullanırken, RE2 biçiminde düzenli ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Bir hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.

Kullanıcı kitle(ler)i hepsini içerir,
en az birini içerir,
hepsini içermez,
en az birini içermez		 Denemenize dahil olabilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı deneyler, Analytics veri işleme gecikmesine tabi olduklarından veri toplamak için birkaç gün gerektirebilir. Bu gecikmeyle, genellikle oluşturma işleminden 24-48 saat sonra uygun kitlelere kaydolan yeni kullanıcılarda veya yakın zamanda oluşturulan kitlelerde karşılaşma olasılığınız yüksektir.
Kullanıcı özelliği Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >		 Bir denemeye dahil edilebilecek kullanıcıları seçmek için bir Analytics kullanıcı özelliği kullanılır ve kullanıcı özelliği değerlerinin seçilmesine yönelik bir dizi seçenek sunulur.

İstemcide, kullanıcı özellikleri için yalnızca dize değerleri ayarlayabilirsiniz. Sayısal işleçler kullanan koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/kayan değere dönüştürür.		 içerir regex işlecini kullanırken, RE2 biçiminde düzenli ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Bir hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke veya bölge.
Diller Yok Deneye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar.
İlk açık Bundan fazla
Daha az
Arasında		 Kullanıcıları, uygulamanızı gün cinsinden ilk kez açtıklarına göre hedefleyin.
Son uygulama etkileşimi Bundan fazla
Daha az
Arasında		 Kullanıcıları, uygulamanızla en son ne zaman etkileşime geçtiklerine göre hedefleyin, gün olarak belirtilir.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda, kazanan değişkeni belirlemek için kullanılan bir birincil veya hedef metriği seçersiniz. Her bir deneme varyantının performansını daha iyi anlamanıza ve kullanıcıyı elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her varyant için farklılık gösterebilecek önemli eğilimleri izlemenize yardımcı olması için diğer metrikleri de izlemelisiniz. Denemenizde en fazla beş hedef dışı metriği izleyebilirsiniz.

Örneğin, uygulamanıza yeni uygulama içi satın alımlar eklediğinizi ve iki farklı "dürtme" mesajının etkinliğini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan varyantın en yüksek uygulama içi satın alma geliriyle sonuçlanan bildirimi temsil etmesini istediğiniz için Satın Alma gelirini hedef metriğiniz olarak belirlemeye karar verebilirsiniz. Ayrıca, hangi varyantın gelecekte daha fazla dönüşüm sağladığını ve kullanıcıları elde tuttuğunu da izlemek istediğiniz için, İzlenecek diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz :

  • Kombine uygulama içi satın alma ve reklam gelirinizin iki değişken arasında ne kadar farklı olduğunu görmek için tahmini toplam gelir
  • Elde Tutma (1 gün) , Elde Tutma (2-3 gün) , Elde Tutma (4-7 gün), günlük/haftalık kullanıcı tutma oranınızı izlemek için

Aşağıdaki tablolar, hedef ölçümlerinin ve diğer ölçümlerin nasıl hesaplandığına ilişkin ayrıntıları sağlar.

Hedef metrikleri

Metrik Tanım
Sorunsuz kullanıcılar Uygulamanızda, deneme sırasında Firebase Crashlytics SDK tarafından tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazançları.
Tahmini toplam gelir Birleştirilmiş satın alma değeri ve tahmini reklam gelirleri.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Tutma (1 gün) Günlük olarak uygulamanıza geri dönen kullanıcı sayısı.
Tutma (2-3 gün) 2-3 gün içinde uygulamanıza geri dönen kullanıcı sayısı.
Tutma (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcı sayısı.
Tutma (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Tutma (15+ gün) Uygulamanızı son kullandıktan 15 veya daha fazla gün sonra geri dönen kullanıcıların sayısı.
ilk_aç Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Bir dönüşüm hunisinin parçası olarak kullanılır.

Diğer metrikler

Metrik Tanım
bildirim_dismiss Notifications oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android).
bildirim_alma Uygulama arka planda çalışırken (yalnızca Android) Bildirimler oluşturucu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics olayı.
os_update Cihaz işletim sisteminin ne zaman yeni bir sürüme güncellendiğini izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için bkz . Ekran Görüntülemelerini İzleme .
session_start Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.