Check out what’s new from Firebase at Google I/O 2022. Learn more

A/B Testi ile Uygulama İçi Mesajlaşma Deneyleri Oluşturun

Kullanıcılarınıza ulaşırken veya yeni bir pazarlama kampanyası başlatırken, doğru anladığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçilen bölümlerinde mesaj değişkenlerini test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister daha iyi elde tutma ister bir teklifte dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için taban çizgisinden daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analiz yapabilir.

A/B özelliği varyantlarını taban çizgisiyle test etmek için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Deneyinizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Deneme oluştur

Firebase Uygulama İçi Mesajlaşma'yı kullanan bir deney, tek bir uygulama içi mesajın birden çok çeşidini değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'in etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics'i etkinleştirmediyseniz, Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.

  3. Deneme oluştur 'u tıklayın ve ardından, denemek istediğiniz hizmet sorulduğunda Uygulama İçi Mesajlaşma'yı seçin.

  4. Alternatif olarak, Firebase konsolu gezinme çubuğunda Engage öğesini genişletin ve ardından Uygulama İçi Mesajlaşma öğesini tıklayın. Ardından Yeni deneme 'yi tıklayın.

  5. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri 'yi tıklayın.

  6. Önce denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, aşağıdakileri içeren seçenekleri belirleyerek, kullanıcılarınızın bir alt kümesini denemenize katılmaları için hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan analiz kitleleri
    • Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı mülkü
    • Ülke/Bölge: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke veya bölge
    • Cihaz dili: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • İlk açılış: Kullanıcıları, uygulamanızı ilk açtıkları zamana göre hedefleyin
    • Son uygulama etkileşimi: Kullanıcıları, uygulamanızla en son ne zaman etkileşim kurduklarına göre hedefleyin
  7. Hedef kullanıcı yüzdesini ayarlayın: Denemenizdeki temel ile bir veya daha fazla değişken arasında eşit olarak bölmek istediğiniz kullanıcıları hedefle altında belirlenen ölçütlerle eşleşen uygulamanızın kullanıcı tabanının yüzdesini seçin. Bu, %0.01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, yinelenen deneyler de dahil olmak üzere her deney için kullanıcılara rastgele yeniden atanır.

  8. Varyantlar bölümünde, normal bir uygulama içi mesajlaşma kampanyası için kullandığınız mesaj tasarımı arayüzünü kullanarak temel gruba göndermek üzere bir temel uygulama içi mesaj yapılandırın.

  9. Denemenize bir varyant eklemek için Varyant Ekle 'yi tıklayın. Varsayılan olarak, deneylerin bir temeli ve bir varyantı vardır.

  10. (isteğe bağlı) Varyant A , Varyant B vb. adları değiştirmek üzere denemenizdeki her bir varyant için bir ad girin.

  11. (isteğe bağlı) Varyantlar bölümünün üst kısmında, bir tane daha mesaj varyantını temel mesajla yan yana karşılaştırmak için Varyantları karşılaştır düğmesini tıklayın.

  12. Deneme varyantlarını değerlendirirken, açılır listeden istediğiniz ek metriklerle birlikte kullanmak üzere denemeniz için bir hedef metrik tanımlayın. Bu metrikler, yerleşik hedefleri (etkileşim, satın almalar, gelir, elde tutma vb.), Analytics dönüşüm etkinliklerini ve diğer Analytics etkinliklerini içerir.

  13. Deneme için zamanlamayı yapılandırın:

    • Deneme için bir Başlangıç ​​ve Bitiş tarihi belirleyin.
    • Uygulama içi mesajların tüm varyantlarda nasıl tetikleneceğini ayarlayın.
  14. Denemenizi kaydetmek için Gözden Geçir'e tıklayın.

Geri kalanı taslak veya tamamlanmış olmak üzere 24 adede kadar devam eden denemeden oluşabilen proje başına 300 adede kadar denemeye izin verilir.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili kurulum yetkilendirme belirtecini alabilirsiniz. Bu belirteci, uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Kurulum yetkilendirme belirtecini aşağıdaki gibi alın:

    Süratli

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Amaç-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Firebase konsolu gezinme çubuğunda A/B Testi 'ni tıklayın.
  3. Taslak'a (ve/veya Remote Config deneyleri için Çalışıyor ) tıklayın, fareyle denemenizin üzerine gelin, bağlam menüsünü ( ) ve ardından Test cihazlarını yönet'i tıklayın.
  4. Bir test cihazı için kurulum kimlik doğrulama jetonunu girin ve o test cihazına gönderilecek deney varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazında alındığını onaylayın.

Firebase kurulumları hakkında daha fazla bilgi edinmek için Firebase kurulumlarını yönetme bölümüne bakın.

Denemenizi yönetin

İster Remote Config, Bildirim oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluşturun, ardından denemenizi doğrulayıp başlatabilir, denemenizi çalışırken izleyebilir ve devam eden denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz bittiğinde, kazanan varyant tarafından kullanılan ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlatın

  1. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.
  2. Taslak 'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızın denemenize dahil edilecek kullanıcıları olduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütlere uyan kullanıcıların %1'i ).
  4. Denemenizi değiştirmek için Düzenle 'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat 'ı tıklayın. Bir seferde proje başına 24 adede kadar deney çalıştırabilirsiniz.

Bir deneyi izleyin

Bir deneme bir süre çalıştırıldıktan sonra, ilerlemesini kontrol edebilir ve şu ana kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.
  2. Çalışıyor öğesini ve ardından denemenizin başlığını tıklayın. Bu sayfada, devam eden denemeniz hakkında aşağıdakiler de dahil olmak üzere çeşitli gözlemlenen ve modellenen istatistikleri görüntüleyebilirsiniz:

    • Taban çizgisinden fark yüzdesi : Belirli bir değişken için bir metriğin taban çizgisine kıyasla gelişiminin bir ölçüsü. Varyant için değer aralığını temel değer aralığıyla karşılaştırarak hesaplanır.
    • Temel çizgiyi geçme olasılığı : Belirli bir varyantın, seçilen metrik için temel çizgiyi geçme olasılığı.
    • kullanıcı başına observed_metric : Deneme sonuçlarına göre, bu, metrik değerinin zaman içinde düşeceği tahmin edilen aralıktır.
    • Toplam observed_metric : Temel veya değişken için gözlemlenen kümülatif değer. Değer, her bir deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme , Değer aralığı , Temel çizgiyi geçme olasılığı ve en iyi değişken olma olasılığı hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak, bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
  3. Denemeniz bir süre çalıştıktan sonra (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün), bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel bir biçimde sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunun

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan varyantınız olacak kadar uzun bir süre çalıştırıldıktan sonra, denemeyi kullanıcıların %100'üne sunabilirsiniz. Bu, ileriye dönük olarak tüm kullanıcılara yayınlamak için bir varyant seçmenize olanak tanır. Denemeniz net bir kazanan oluşturmamış olsa bile, yine de tüm kullanıcılarınıza bir varyant sunmayı seçebilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.
  2. Tamamlandı veya Çalışıyor öğesini tıklayın, tüm kullanıcılara sunmak istediğiniz bir denemeyi tıklayın, bağlam menüsünü ( ) ve ardından Varyantı kullanıma sun öğesini tıklayın.
  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucuyu kullanan bir deneme için, mesajı, denemenin parçası olmayan kalan hedeflenen kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Remote Config denemesi için hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek için bir varyant seçin. Denemeyi oluştururken tanımlanan hedefleme ölçütleri, kullanıma sunmanın yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenecektir. Değişiklikleri gözden geçirmek için Remote Config'de Gözden Geçir'e tıkladıktan sonra, dağıtımı tamamlamak için Değişiklikleri yayımla'ya tıklayın.
    • Bir Uygulama İçi Mesajlaşma denemesi için, bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak hangi varyantın kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra, yayınlamadan önce herhangi bir değişiklik (gerekirse) yapmak için FIAM oluşturma ekranına yönlendirileceksiniz.

Bir denemeyi genişlet

Bir denemenin A/B Testinin lider ilan etmesi için yeterli sayıda kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.
  2. Düzenlemek istediğiniz devam eden denemeyi seçin.
  3. Denemeye genel bakışta , bağlam menüsünü ( ) ve ardından Çalışan denemeyi düzenle'yi tıklayın .
  4. Hedefleme iletişim kutusu, çalışmakta olan denemede bulunan kullanıcıların yüzdesini artırma seçeneği görüntüler. Geçerli yüzdeden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltma veya durdurma

  1. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi 'ni tıklayın.
  2. Tamamlandı veya Çalışıyor öğesini tıklayın, fareyle denemenizin üzerine gelin, bağlam menüsünü ( ) tıklayın ve ardından Denemeyi çoğalt veya Denemeyi durdur öğesini tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme kriteri Operatör(ler) Değer(ler) Not
sürüm içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

içerir , içermez veya işleçlerle tam olarak eşleşirken, virgülle ayrılmış bir değerler listesi sağlayabilirsiniz.

Normal ifade içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamı veya bir kısmıyla eşleşebilir. Bir hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.

Kullanıcı kitleleri tümünü içerir,
en az birini içerir,
tamamını içermez,
en az birini içermez
Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı deneyler, Analytics veri işleme gecikmesine tabi olduklarından veri toplamak için birkaç gün gerektirebilir. Bu gecikmeyle, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydolan yeni kullanıcılarda veya yakın zamanda oluşturulmuş kitlelerde karşılaşmanız olasıdır.
Kullanıcı mülkü Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >
Kullanıcı mülkü değerlerini seçmek için çeşitli seçeneklerle birlikte bir denemeye dahil edilebilecek kullanıcıları seçmek için bir Analytics kullanıcı mülkü kullanılır.

İstemcide, kullanıcı özellikleri için yalnızca dize değerleri ayarlayabilirsiniz. Sayısal işleçleri kullanan koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/kayan değere dönüştürür.
Normal ifade içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamı veya bir kısmıyla eşleşebilir. Bir hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.
Cihaz ülkesi Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke veya bölge kullanıldı.
Cihaz dili Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar. Bu hedefleme ölçütü yalnızca Remote Config için kullanılabilir.
İlk açık bundan fazla
daha az
arasında
Kullanıcıları, gün cinsinden belirtilen, uygulamanızı ilk açtıkları zamana göre hedefleyin. Bu hedefleme ölçütü yalnızca Firebase Uygulama İçi Mesajlaşma için kullanılabilir.
Son uygulama etkileşimi bundan fazla
daha az
arasında
Kullanıcıları, gün olarak belirtilen, uygulamanızla en son ne zaman etkileşim kurduklarına göre hedefleyin. Bu hedefleme ölçütü yalnızca Firebase Uygulama İçi Mesajlaşma için kullanılabilir.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda, kazanan değişkeni belirlemek için kullanılan bir birincil veya hedef metriği seçersiniz. Ayrıca, her bir deneme varyantının performansını daha iyi anlamanıza ve kullanıcıyı elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her bir varyant için farklılık gösterebilecek önemli eğilimleri izlemenize yardımcı olacak diğer metrikleri de izlemelisiniz. Denemenizde en fazla beş hedef dışı metrik izleyebilirsiniz.

Örneğin, uygulamanıza yeni uygulama içi satın alımlar eklediğinizi ve iki farklı "dürtme" mesajının etkinliğini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan varyantın en yüksek uygulama içi satın alma geliriyle sonuçlanan bildirimi temsil etmesini istediğiniz için satın alma gelirini hedef metriğiniz olarak belirlemeye karar verebilirsiniz. Ayrıca hangi varyantın gelecekte daha fazla dönüşüm ve elde tutulan kullanıcılarla sonuçlandığını da izlemek istediğiniz için, izlenecek diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz:

  • Birleştirilmiş uygulama içi satın alma ve reklam gelirinizin iki değişken arasında nasıl farklılık gösterdiğini görmek için tahmini toplam gelir
  • Günlük/haftalık kullanıcı tutma durumunuzu izlemek için Tutma (1 gün) , Tutma (2-3 gün) , Tutma (4-7 gün)

Aşağıdaki tablolar, hedef metriklerin ve diğer metriklerin nasıl hesaplandığına ilişkin ayrıntıları sağlar.

Hedef metrikleri

Metrik Tanım
Çökmeyen kullanıcılar Uygulamanızda, deneme sırasında Firebase Crashlytics SDK tarafından tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazançları.
Tahmini toplam gelir Satın alma ve tahmini reklam gelirleri için birleşik değer.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Saklama (1 gün) Günlük olarak uygulamanıza dönen kullanıcı sayısı.
Saklama (2-3 gün) 2-3 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (4-7 gün) 4-7 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (8-14 gün) 8-14 gün içinde uygulamanıza dönen kullanıcı sayısı.
Saklama (15+ gün) Uygulamanıza son kullanmalarından 15 veya daha fazla gün sonra geri dönen kullanıcıların sayısı.
first_open Bir kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics olayı. Bir dönüşüm hunisinin parçası olarak kullanılır.

Diğer metrikler

Metrik Tanım
bildirim_dismiss Bildirim oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics olayı (yalnızca Android).
bildirim_almak Uygulama arka plandayken (yalnızca Android) Bildirim oluşturucu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics olayı.
os_update Cihaz işletim sisteminin ne zaman yeni bir sürüme güncellendiğini izleyen bir Analytics olayı. Daha fazla bilgi edinmek için Otomatik olarak toplanan olaylar bölümüne bakın.
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran Görünümlerini İzleme bölümüne bakın.
oturum_başlangıç Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan olaylar bölümüne bakın.