A/B Testi ile Uygulama İçi Mesajlaşma Denemeleri Oluşturma

Kullanıcılarınıza ulaşırken veya yeni bir pazarlama kampanyası başlatırken bunu doğru anladığınızdan emin olmalısınız. A/B testi, mesaj varyantlarını test ederek en uygun ifadeleri ve sunumu kullanıcı tabanınızın belirli kısımlarını kullanabilirsiniz. Hedefinizin daha iyi elde tutma oranı olup olmadığı teklife bağlı olarak dönüşüm sağlamak için A/B testi ile bir mesaj varyantının mesajınızın referans değerden daha iyi performans gösterip göstermediğini seçmeniz gerekir.

Özellik varyantları için bir referans değeri ile A/B testi yapmak istiyorsanız aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.
ziyaret edin.

Deneme oluşturma

Firebase In-App Messaging kullanan bir deneme, terimin birden fazla varyantını değerlendirmenize olanak sağlar tek bir uygulama içi mesaj.

  1. Şurada oturum açın: Firebase konsolu ve projenizin Google Analyticsetkinleştirildiğinden emin olun. deneme Analytics verilerine erişebiliyor.

    Projenizi oluştururken Google Analytics özelliğini etkinleştirmediyseniz Bunu, Integrations'da (Entegrasyonlar) etkinleştirebilir sekmesine gidin. Bu sekmeye > Firebase konsolunda Proje ayarları'nı tıklayın.

  2. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.

  3. Deneme oluştur'u tıklayın, ardından Uygulama İçi Mesajlaşma'yı seçin oluşturmak istediğiniz hizmeti seçin.

  4. Alternatif olarak Firebase konsol gezinme menüsünde Etkileşim'i ve ardından In-App Messaging seçeneğini tıklayın. Daha sonra, Yeni deneyin.

  5. Denemeniz için Ad ve isteğe bağlı olarak Açıklama girin. İleri'yi tıklayın.

  6. Hedefleme alanlarını doldurun ve önce deneyin. Ayrıca, katılacakları kullanıcılarınızın bir alt kümesini de hedefleyebilirsiniz aşağıdakileri içeren seçenekler belirleyerek denemenize uygulanır:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Kullanıcıları hedeflemek için kullanılan Analytics kitle denemeye dahil olacak kullanıcılar
    • Kullanıcı özelliği: Şu alan için bir veya daha fazla Analytics kullanıcı özelliği: denemeye dahil edilebilecek kullanıcıları seçerek
    • Ülke/Bölge: Seçilebilecek bir veya daha fazla ülke veya bölge denemeye dahil olabilecek kullanıcılar
    • Cihaz dili: Seçim yapmak için kullanılan bir veya daha fazla dil ve yerel ayar denemeye dahil olabilecek kullanıcılar
    • İlk açılış: Kullanıcıları ilk kez ziyaret ettikleri zamana göre hedefleyin Uygulamanızı açtı
    • Son uygulama etkileşimi: Kullanıcıları en son ziyaret ettikleri zamana göre hedefleyin uygulamanızla etkileşim kurdu
    ziyaret edin.

  7. Hedef kullanıcıların yüzdesini belirleyin:Uygulamanızın kullanıcılar veya Hedef kullanıcıları altında ayarlanan ölçütlerle eşleşen kullanıcı tabanı taban değer ile bir veya daha fazla varyant arasında eşit bir şekilde bölmek için denemenize yardımcı olur. Bu değer, %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler her deneme için kullanıcılara rastgele yeniden atanır. yinelenen denemeler dahil.

  8. Varyantlar bölümünde, gönderilecek temel uygulama içi mesajı yapılandırın mesaj tasarım arayüzünü kullanarak referans gruba göre normal bir uygulama içi mesajlaşma kampanyası için kullandığınız başka bir kampanya adı.

  9. Denemenize varyant eklemek için Ekle'yi tıklayın. Çeşit. Denemelerin varsayılan olarak bir referans değeri ve bir varyantı vardır.

  10. (isteğe bağlı) Her varyant için daha açıklayıcı bir ad girin.

  11. (İsteğe bağlı) Varyantlar bölümünün üst kısmındaki Karşılaştır'ı tıklayın. varyantları düğmesini kullanarak bir mesaj varyantını daha temel çizgisidir.

  12. Denemenizi değerlendirirken kullanmak üzere denemeniz için bir hedef metriği tanımlayın varyantlarını ve kullanmak istediğiniz diğer metrikleri listeden seçin. Bu metrikler yerleşik hedefler (etkileşim, satın almalar, gelir, elde tutma vb.), Analytics dönüşüm etkinliği ve diğer Analytics etkinlik.

  13. Deneme için planlamayı yapılandırın:

    • Deneme için Başlangıç ve Bitiş tarihi belirleyin.
    • Uygulama içi mesajların tüm varyantlar arasında nasıl tetikleneceğini ayarlayın.

  14. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 denemeye izin verilir. Bu deneme, geri kalan taslak veya tamamlanmış durumda olmak üzere en fazla 24 çalışan denemeden oluşabilir.

Denemenizi bir test cihazında doğrulama

Her Firebase yüklemesi için yükleme kimlik doğrulama jetonunu alabilirsiniz görüntülenebilir. Belirli deneme varyantlarını test etmek için bu jetonu kullanabilirsiniz uygulamanızın yüklü olduğu bir test cihazında. Denemenizi kullanıyorsanız, aşağıdakileri yapın:

  1. Yükleme kimlik doğrulama jetonunu aşağıdaki şekilde alın:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Firebase Console gezinme çubuğunda A/B Testi.
  3. Taslak'ı (ve/veya Uzaktan Kumanda için Çalışıyor'u) tıklayın Yapılandırma denemeleri): Fareyle denemenizin üzerine gelin, içerik menüsünü tıklayın. () ve ardından Test cihazlarını yönetme
  4. Test cihazı için yükleme kimlik doğrulama jetonunu girin ve deneme varyantını kullanın.
  5. Uygulamayı çalıştırın ve seçilen varyantın şu cihazda alındığını onaylayın: test cihazı.

Firebase yüklemeleri hakkında daha fazla bilgi edinmek için bkz. Firebase yüklemelerini yönetin.

Denemenizi yönetme

Remote Config, Bildirim oluşturucu veya Firebase In-App Messaging, denemenizi doğrulayabilir ve başlatabilir, bir deneme çalıştırıyor olabilir ve bu denemedeki kullanıcı sayısını devam eder.

Denemeniz bittiğinde, deneme tarafından kullanılan sonra da bu ayarları tüm kullanıcılara sunabilirsiniz. Dilerseniz başka bir deneme çalıştırın.

Bir deneme başlat

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızın, deneme yapmak, taslak ayrıntılarını genişletin ve bir sayıyı kontrol edin Hedefleme ve dağıtım bölümünde %0'dan büyük (örneğin, ölçütlerle eşleşen kullanıcıların% 1'i).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. 24'e kadar koşabilirsiniz deneme sayısını artırır.

Denemeyi izleme

Bir deneme bir süre çalıştıktan sonra, o deneme için katılan kullanıcılar açısından sonuçlarınızın nasıl elde etmeye başladı.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.

  2. Koşu'yu tıklayın ve ardından uygulamanızın başlığını tıklayın veya deneyin. Bu sayfada, gözlemlenen ve modellenmiş çeşitli aşağıdakileri de içeren çalışan denemenizle ilgili istatistikler:

    • Referans değere göre fark yüzdesi: Bir metriğin iyileşmedeki ölçümü referans değere kıyasla belirli bir varyant için geçerli değildir. Karşılaştırılarak hesaplanır varyantın değer aralığını, referans değerin değer aralığına göre ayarlayın.
    • Referans değeri geçme olasılığı: Belirli bir teklifin belirli bir varyant, seçilen metrik için referans değeri aşıyor.
    • Kullanıcı başına observed_metric: Deneme sonuçlarına göre bu, metrik değerinin düşeceği tahmini aralıktır gerekir.
    • Toplam observed_metric: Şu tutar için gözlemlenen kümülatif değer: referans değer veya değişken olabilir. Değer, her bir öğenin ne kadar iyi performans performans gösterir ve İyileştirme'yi hesaplamak için kullanılır. Değer aralığı, Referans değeri geçme olasılığı ve en iyi değişken olmasına dikkat edin. Ölçülen metriğe bağlı olarak bu, sütunu, "Kullanıcı başına süre" şeklinde etiketlenebilir "Kullanıcı başına gelir," “Kullanıcıları elde tutma oranı” veya "Dönüşüm oranı".

  3. Denemeniz bir süre (FCM için en az 7 gün) çalıştırıldıktan sonra ve Remote Config için In-App Messaging veya 14 gün), bu sayfadaki veriler varsa hangi varyantın "lider" olduğunu belirtir. Bazı ölçümler verileri görsel biçimde sunan bir çubuk grafikle gösterilir.

ziyaret edin.

Denemeyi tüm kullanıcılara sunma

Bir deneme, bir "lider" yakalayacak kadar uzun süre çalıştıktan sonra, kazanacak olan denemesini kullanıcıların% 100'üne yayınlayabilirsiniz. Bu sayede, bundan sonra tüm kullanıcılara yayınlamak için bir varyant seçebilirsiniz. Eşit denemeniz net bir kazanan oluşturmadıysa bile tüm kullanıcılarınıza bir varyant yayınlayabilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.
  2. Tamamlandı veya Çalışıyor'u tıklayın, istediğiniz denemeyi tıklayın tüm kullanıcılara yayınlamak için, içerik menüsünü () Varyantı kullanıma sunun.

  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucuyu kullanan bir deneme için Mesajı hedeflenen diğer kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusu Denemeye dahil olmayan kullanıcılar.
    • Remote Config denemesi için bir varyant seçerek hangi sürümün Güncellenecek Remote Config parametre değerleri. Tanımlanan hedefleme ölçütleri yeni bir koşul olarak eklendiğinde, şablonunu kullanarak kullanıma sunmanın yalnızca deneyin. Remote Config'de incele'yi tıkladıktan sonra kullanıma sunmayı tamamlamak için Değişiklikleri yayınla'yı tıklayın.
    • Bir In-App Messaging denemesinde hangi seçeneğin kullanılacağını belirlemek için iletişim kutusunu kullanın varyantının bağımsız bir In-App Messaging kampanyası olarak sunulması gerekiyor. Seçildikten sonra, herhangi bir öğe oluşturmak için FIAM oluşturma (gerekirse) yayınlamadan önce kontrol edin.

Denemeyi genişletin

Bir denemenin A/B Testing için yeterli sayıda kullanıcı getirmediğini fark ederseniz lider ilan etmek istiyorsanız, belirli bir hedefe ulaşmak için denemenizin dağılımını daha büyük bir kısmını oluşturuyor.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.
  2. Düzenlemek istediğiniz, çalışan denemeyi seçin.
  3. Denemeye genel bakış sayfasında içerik menüsü () ve ardından Çalışan denemeyi düzenle'yi tıklayın.
  4. Hedefleme iletişim kutusunda, denemedeki kullanıcılar. Daha büyük bir sayı seçin % üzerinde bir artış elde edin ve Yayınla'yı tıklayın. Denemenin adı: belirlediğiniz kullanıcı yüzdesine aktarılır.

Denemeyi kopyalama veya durdurma

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing.
  2. Tamamlandı veya Çalışıyor'u tıklayın, işaretçiyi denemenizin üzerinde tutun, içerik menüsünü tıklayın () ve ardından Denemeyi kopyala veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Hedeflerinize dahil edilecek kullanıcıları bir deneme oluşturun.

Hedefleme ölçütü Operatörler Değerler Not
Sürüm içerir,
şunları içermez:
şununla tam olarak eşleşir:
normal ifade içerir		 deneyin.

İçerir, içermez veya şununla tam olarak eşleşir: operatörlerinin virgülle ayrılmış bir listesini değerler.

Şu normal ifadeyi içerir operatörünü kullanırken normal ifade oluşturabilirsiniz: RE2'deki ifadeler biçimindedir. Normal ifadeniz hedef sürümün tamamıyla veya bir kısmıyla eşleşebilir dize. Başlangıcı, sonu veya tamamı.
Kullanıcı kitleleri şunların tümünü içerir:
Şunlardan en az birini içerir:
şunların tümünü içermez:
, şunlardan en az birini içermez:		 Şu özelliklere sahip kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin: denemenize dahil edilir. Google Analytics kitleyi hedefleyen bazı denemeler için birkaç gün sürer çünkü Analytics veri işleme gecikmesi. Bu gecikmeyi büyük olasılıkla, uygulamanızı kullanan yeni kullanıcılarla Uygun kitlelere, oluşturulduktan 24 ila 48 saat sonra kaydolur veya şunun için: yeni oluşturulan kitleleri görebilirsiniz.
Kullanıcı özelliği Metin için:
içerir,
şunları içermez:
şununla tam olarak eşleşir:
normal ifade içerir

Numaralar için:
<, ≤, =, ≥, > 		Dahil edilebilecek kullanıcıları seçmek için Analytics kullanıcı özelliği kullanılır kullanıcı özelliğini belirlemek için bir dizi seçenek içeren bir denemede değerler.

İstemcide, kullanıcı için yalnızca dize değerleri ayarlayabilirsiniz. özellikler. Sayısal operatörler kullanan koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğini bir tam sayı/kayan değer hâline getirir.		 Şu normal ifadeyi içerir operatörünü kullanırken normal ifade oluşturabilirsiniz: RE2'deki ifadeler biçimindedir. Normal ifadeniz hedef sürümün tamamıyla veya bir kısmıyla eşleşebilir dize. Başlangıcı, sonu veya tamamı.
Ülke/Bölge Yok Dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke veya bölge karar vermektir.  
Diller Yok Eklenebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar karar vermektir.  
İlk açılış Şundan yüksek:
Küçüktür
Kullanıcıları ilk yaptıkları zamana göre hedefleyin gün cinsinden kaç kez gösterildiğini belirtir.
Son uygulama etkileşimi Şundan yüksek:
Küçüktür
Kullanıcıları, uygulamanızla son etkileşimde bulundukları zamana göre hedefleyin, gün olarak belirtilir.

A/B Testing metrik

Denemenizi oluştururken, birincil metrik veya hedef metriği seçersiniz. kazanan varyantı belirlemek için kullanılır. Diğer metrikleri de takip ederek her bir deneme varyantının performansını daha iyi anlamanıza yardımcı olur ve kullanıcıyı elde tutma, uygulama ve etkileşim gibi farklı versiyonlar için farklı uygulama içi satın alma geliri sağlamak için gereklidir. En fazla beş hedef olmayan metrikleriniz olabilir.

Örneğin, uygulamanıza yeni uygulama içi satın alma işlemleri eklediğinizi ve iki farklı "otomatik hatırlatma"nın ne kadar etkili olduğunu mesaj. Böyle durumlarda Satın alma geliri'ni hedef metriği olarak belirleyebilir. Çünkü kazanan varyantın, ilk 10 günün dönüşümünü en yüksek uygulama içi satın alma geliri sağladı. Ayrıca projenizi hangi varyantın gelecekte daha fazla dönüşüm sağladığını ve kullanıcı elde tuttuğunu izlerseniz, İzlenecek diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz:

  • Uygulama içi satın alma ile reklamınızın toplam gelirinin ne kadar olduğunu görmek için tahmini toplam gelir İki varyant arasında gelir farklılığı vardır
  • Kullanıcıları elde tutma (1 gün), Elde tutma (2-3 gün), Elde tutma (4-7 gün) ve günlük/haftalık kullanıcı elde tutma verilerinizi takip etmek
ziyaret edin.

Aşağıdaki tablolarda, hedef metrikleri ve diğer metriklerin nasıl hesaplanır.

Hedef metrikleri

Metrik Açıklama
Kilitlenme sorunu yaşamayan kullanıcılar Uygulamanızda hatalarla karşılaşmayan kullanıcıların yüzdesi deneme sırasında Firebase Crashlytics SDK'sı tarafından algılandı.
Tahmini reklam geliri Tahmini reklam kazançları.
Tahmini toplam gelir Satın alma için birleşik değer ve tahmini reklam gelirleri.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlik.
Elde tutma (1 gün) Günlük olarak uygulamanıza geri gelen kullanıcıların sayısı.
Elde tutma (2-3 gün) 2-3 gün içinde uygulamanıza geri dönen kullanıcı sayısı.
Elde tutma (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcı sayısı.
Elde tutma (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcı sayısı.
Elde tutma (en az 15 gün) Satın aldıktan 15 gün veya daha uzun bir süre sonra uygulamanıza geri dönen kullanıcı sayısı onu kullandı.
first_open Kullanıcı bir uygulamayı şu tarihten sonra ilk kez açtığında tetiklenen Analytics etkinliği: yüklediğinizi veya yeniden yüklediğinizi unutmayın. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Açıklama
notification_dismiss tarafından bir bildirim gönderildiğinde tetiklenen Analytics etkinliği Bildirim oluşturucu kapatılır (yalnızca Android).
notification_receive tarafından bir bildirim gönderildiğinde tetiklenen Analytics etkinliği Bildirim oluşturucu uygulama arka plandayken alınır (yalnızca Android).
os_update Cihazın işletim sisteminin ne zaman çalıştığını izleyen bir Analytics etkinliği: yeni bir sürüme güncellendi. Daha fazla bilgi edinmek için Otomatik olarak konusuna bakın. toplanmış etkinlikler.
screen_view Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Öğrenmek için daha fazla bilgi için Takip etme Ekran görüntüleme sayısı.
session_start Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için bkz. Otomatik olarak toplanmış etkinlikler.