A/B Testi ile Uygulama İçi Mesajlaşma Deneyleri Oluşturun

Kullanıcılarınıza ulaştığınızda veya yeni bir pazarlama kampanyası başlattığınızda, bunu doğru yaptığınızdan emin olmak istersiniz. A/B testi, kullanıcı tabanınızın seçilen bölümlerinde mesaj çeşitlerini test ederek en uygun ifadeyi ve sunumu bulmanıza yardımcı olabilir. Hedefiniz ister bir teklifi daha iyi elde tutmak ister dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için temel değerden daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analiz gerçekleştirebilir.

Temelli A/B testi özelliği çeşitleri için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Bir deneme oluşturun

Firebase Uygulama İçi Mesajlaşma'yı kullanan bir deneme, tek bir uygulama içi mesajın birden çok çeşidini değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'in etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics'i etkinleştirmediyseniz Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.

  3. Deneme oluştur 'a tıklayın ve ardından deneme yapmak istediğiniz hizmet istendiğinde Uygulama İçi Mesajlaşma'yı seçin.

  4. Alternatif olarak, Firebase konsolu gezinme menüsünde Engage'i genişletin ve ardından Uygulama İçi Mesajlaşma'yı tıklayın. Ardından Yeni deneme'yi tıklayın.

  5. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri'yi tıklayın.

  6. Öncelikle denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, aşağıdakileri içeren seçenekleri belirleyerek kullanıcılarınızın bir alt kümesini denemenize katılmaya hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan Analytics kitleleri
    • Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı özelliği
    • Ülke/Bölge: Denemeye dahil edilebilecek kullanıcıların seçilmesi için bir veya daha fazla ülke ya da bölge
    • Cihaz dili: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • İlk açılış: Kullanıcıları uygulamanızı ilk açtıkları zamana göre hedefleyin
    • Son uygulama etkileşimi: Kullanıcıları, uygulamanızla en son etkileşimde bulundukları zamana göre hedefleyin

  7. Hedef kullanıcıların yüzdesini ayarlayın: Uygulamanızın kullanıcı tabanının, denemenizdeki temel ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz Kullanıcıları hedefle bölümünde belirlenen ölçütlerle eşleşen yüzdesini seçin. Bu %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, yinelenen denemeler de dahil olmak üzere her deneme için kullanıcılara rastgele yeniden atanır.

  8. Varyantlar bölümünde, normal bir uygulama içi mesajlaşma kampanyası için kullandığınız mesaj tasarımı arayüzünü kullanarak temel gruba gönderilecek bir temel uygulama içi mesaj yapılandırın.

  9. Denemenize bir varyant eklemek için Varyant Ekle'yi tıklayın. Varsayılan olarak denemelerde bir temel ve bir değişken bulunur.

  10. (isteğe bağlı) Her varyant için daha açıklayıcı bir ad girin.

  11. (isteğe bağlı) Bir mesaj varyantını daha temel mesajla yan yana karşılaştırmak için Varyantlar bölümünün üst kısmındaki Varyantları karşılaştır düğmesini tıklayın.

  12. Deneme varyantlarını değerlendirirken denemeniz için kullanılacak bir hedef metriğini, listeden kullanmak istediğiniz ek metriklerle birlikte tanımlayın. Bu ölçümler yerleşik hedefleri (etkileşim, satın almalar, gelir, elde tutma vb.), Analytics dönüşüm etkinliklerini ve diğer Analytics etkinliklerini içerir.

  13. Deneme için planlamayı yapılandırın:

    • Deneme için bir Başlangıç ​​ve Bitiş tarihi ayarlayın.
    • Tüm varyantlarda uygulama içi mesajların nasıl tetikleneceğini ayarlayın.

  14. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 deney yapmanıza izin verilir; bunlar, 24'e kadar devam eden deneyden oluşabilir, geri kalanı taslak halinde veya tamamlanmış olabilir.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili kurulum kimlik doğrulama jetonunu alabilirsiniz. Uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için bu jetonu kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Kurulum kimlik doğrulama belirtecini aşağıdaki şekilde alın:

    Süratli

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

    Amaç-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Firebase konsolu gezinme çubuğunda A/B Testi'ni tıklayın.
  3. Taslak'a (ve/veya Uzaktan Yapılandırma denemeleri için Çalıştırılıyor ) tıklayın, denemenizin üzerine gelin, içerik menüsüne ( ) tıklayın ve ardından Test cihazlarını yönet'e tıklayın.
  4. Bir test cihazı için kurulum kimlik doğrulama jetonunu girin ve söz konusu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazına alındığını doğrulayın.

Firebase yüklemeleri hakkında daha fazla bilgi edinmek için Firebase yüklemelerini yönetme konusuna bakın.

Denemenizi yönetin

Remote Config, Bildirimler oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluştursanız da, denemenizi doğrulayıp başlatabilir, denemenizi çalışırken izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz tamamlandığında kazanan varyantın kullandığı ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlatın

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızda denemenize dahil edilecek kullanıcıların bulunduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütlerle eşleşen kullanıcıların %1'i ).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. Proje başına aynı anda en fazla 24 deneme çalıştırabilirsiniz.

Bir deneyi izleme

Bir deneme bir süre çalıştırıldıktan sonra, ilerleme durumunu kontrol edebilir ve şu ana kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.

  2. Çalıştırılıyor'u tıklayın ve ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, aşağıdakiler de dahil olmak üzere, çalıştırılan denemenizle ilgili çeşitli gözlemlenen ve modellenen istatistikleri görüntüleyebilirsiniz:

    • Taban çizgisinden fark yüzdesi : Belirli bir değişken için bir metriğin taban çizgisine kıyasla iyileşmesinin ölçüsü. Varyant için değer aralığını temel değer aralığıyla karşılaştırarak hesaplanır.
    • Taban çizgisini geçme olasılığı : Belirli bir değişkenin, seçilen metriğin temel çizgisini geçme olasılığı.
    • kullanıcı başına observed_metric : Deneme sonuçlarına göre bu, metrik değerinin zaman içinde düşeceği tahmin edilen aralıktır.
    • Toplam observed_metric : Referans değer veya değişken için gözlemlenen kümülatif değer. Değer, her deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme , Değer aralığı , Taban çizgisini geçme olasılığı ve en iyi varyant olma Olasılığı'nı hesaplamak için kullanılır. Ölçülen ölçüme bağlı olarak bu sütun, "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.

  3. Denemeniz bir süre (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün) çalıştırıldıktan sonra bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel formatta sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunma

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan değişken elde etmenize yetecek kadar uzun süre çalıştırıldıktan sonra, denemeyi kullanıcıların %100'üne yayınlayabilirsiniz. Bu, ileriye dönük olarak tüm kullanıcılara yayınlanacak bir varyant seçmenize olanak tanır. Denemeniz net bir kazanan yaratmamış olsa bile, yine de bir varyantı tüm kullanıcılarınıza yayınlamayı seçebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, tüm kullanıcılara yayınlamak istediğiniz bir denemeyi tıklayın, bağlam menüsünü ( ) Kullanıma sun seçeneğini tıklayın.

  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucusunu kullanan bir deneme için, mesajı denemenin parçası olmayan kalan hedeflenen kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Remote Config denemesi için, hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir değişken seçin. Denemeyi oluştururken tanımlanan hedefleme ölçütleri, kullanıma sunmanın yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenir. Değişiklikleri gözden geçirmek için Remote Config'de Gözden Geçir'e tıkladıktan sonra, kullanıma sunma işlemini tamamlamak için Değişiklikleri yayınla'ya tıklayın.
    • Uygulama İçi Mesajlaşma denemesi için, hangi varyantın bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra yayınlamadan önce herhangi bir değişiklik yapmak (gerekiyorsa) için FIAM oluşturma ekranına yönlendirilirsiniz.

Bir denemeyi genişlet

Bir denemenin, A/B Testinin lider ilan etmesine yetecek kadar kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Deneye genel bakış bölümünde içerik menüsüne ( ) tıklayın ve ardından Çalışan deneyi düzenle'ye tıklayın.
  4. Hedefleme iletişim kutusunda, yürütülen denemede yer alan kullanıcıların yüzdesini artırmaya yönelik bir seçenek görüntülenir. Geçerli yüzdeden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltın veya durdurun

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, imleci denemenizin üzerinde tutun, içerik menüsünü ( ) tıklayın ve ardından Denemeyi çoğalt veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme kriterlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme kriteri Operatör(ler) Değer(ler) Not
Sürüm içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir		 Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

içerir , içermez veya tam olarak eşleşen operatörlerden herhangi birini kullanırken, virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.

Kullanıcı kitlesi/kitleleri hepsini içerir,
aşağıdakilerden en az birini içerir:
hepsini kapsamaz,
en az birini içermiyor		 Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı denemeler, Analytics veri işleme gecikmesine tabi olduğundan veri toplamak için birkaç gün gerekebilir. Bu gecikmeyle, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydolan yeni kullanıcılarda veya yakın zamanda oluşturulan kitlelerde karşılaşma olasılığınız yüksektir.
Kullanıcı özelliği Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >		 Bir Analytics kullanıcı mülkü, bir denemeye dahil edilebilecek kullanıcıları seçmek için, kullanıcı özelliği değerlerini seçmeye yönelik çeşitli seçeneklerle birlikte kullanılır.

İstemcide kullanıcı özellikleri için yalnızca dize değerlerini ayarlayabilirsiniz. Sayısal işleçlerin kullanıldığı koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/değişken sayıya dönüştürür.		 Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke ya da bölge kullanıldı.
Diller Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla dil ve yerel ayar kullanıldı.
İlk açılış Bundan fazla
Daha az
Arasında		 Kullanıcıları gün cinsinden belirtilen, uygulamanızı ilk kez açtıkları zamana göre hedefleyin.
Son uygulama etkileşimi Bundan fazla
Daha az
Arasında		 Kullanıcıları, gün cinsinden belirtilen, uygulamanızla en son etkileşimde bulundukları zamana göre hedefleyin.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda kazanan seçeneği belirlemek için kullanılacak birincil veya hedef metriği seçersiniz. Ayrıca, her deneme varyantının performansını daha iyi anlamanıza ve kullanıcıyı elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her varyant için farklılık gösterebilecek önemli eğilimleri izlemenize yardımcı olacak diğer metrikleri de izlemelisiniz. Denemenizde en fazla beş hedef dışı metriği izleyebilirsiniz.

Örneğin, uygulamanıza yeni uygulama içi satın alma işlemleri eklediğinizi ve iki farklı "dürtme" mesajının etkinliğini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan değişkenin en yüksek uygulama içi satın alma geliriyle sonuçlanan bildirimi temsil etmesini istediğiniz için Satın Alma gelirini hedef metriğiniz olarak ayarlamayı tercih edebilirsiniz. Ayrıca, hangi varyantın gelecekte daha fazla dönüşümle ve elde tutulan kullanıcılarla sonuçlandığını da izlemek istediğinizden, izlenecek Diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz:

  • Uygulama içi satın alma ve reklam gelirinizin birleşiminin iki varyant arasında nasıl farklılaştığını görmek için tahmini toplam gelir
  • Elde Tutma (1 gün) , Elde Tutma (2-3 gün) , Elde Tutma (4-7 gün) günlük/haftalık kullanıcı tutma oranınızı takip etmek için

Aşağıdaki tablolarda hedef metriklerinin ve diğer metriklerin nasıl hesaplandığına ilişkin ayrıntılar verilmektedir.

Hedef metrikleri

Metrik Tanım
Kilitlenme sorunu yaşamayan kullanıcılar Deneme sırasında Firebase Crashlytics SDK'sı tarafından uygulamanızda tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazancı.
Tahmini toplam gelir Satın alma değeri ve tahmini reklam gelirlerinin birleşimi.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Saklama (1 gün) Günlük olarak uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (2-3 gün) 2-3 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (15+ gün) Uygulamanızı son kullandıktan 15 gün veya daha uzun süre sonra uygulamanıza geri dönen kullanıcıların sayısı.
ilk_açık Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Tanım
bildirim_dismiss Bildirimler oluşturucusu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android).
bildirim_alma Uygulama arka plandayken (yalnızca Android) Bildirimler oluşturucusu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics etkinliği.
os_update Cihaz işletim sisteminin yeni bir sürüme güncellendiğini izleyen bir Analytics olayı. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran Görüntülemelerini İzleme bölümüne bakın.
oturum_başlangıcı Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.