A/B Testi ile Firebase Remote Config Denemeleri Oluşturun

Etkin bir kullanıcı tabanı olan bir uygulamaya yönelik ayarları dağıtmak için Firebase Remote Config kullandığınızda doğru şekilde dağıttığınızdan emin olmak istersiniz. Aşağıdakileri en iyi şekilde belirlemek için A/B Testing denemelerini kullanabilirsiniz:

  • Kullanıcı deneyimini optimize etmek için bir özelliği uygulamanın en iyi yolu. Uygulama geliştiriciler, kullanıcılarının yeni bir özelliği veya güncellenmiş kullanıcı deneyimini beğenmediğini genellikle uygulama mağazasındaki uygulama puanı düşene kadar öğrenemez. A/B testi, kullanıcılarınızın özelliklerin yeni varyantlarını beğenip beğenmediğini veya uygulamayı olduğu gibi mi tercih ettiğini ölçmenize yardımcı olabilir. Ayrıca, kullanıcılarınızın çoğunu bir temel grupta tutmak, kullanıcı tabanınızın büyük bir kısmının deneme sona erene kadar uygulamanızı davranışında veya görünümünde herhangi bir değişiklik olmadan kullanmaya devam etmesini sağlar.
  • Kullanıcı deneyimini bir işletme hedefine göre optimize etmenin en iyi yolu. Bazen gelir veya kullanıcıyı elde tutma gibi bir metriği en üst düzeye çıkarmak için ürün değişiklikleri uygularsınız. A/B testi ile işletme hedefinizi belirlersiniz ve Firebase, seçtiğiniz hedef için bir varyantın temelden daha iyi performans gösterip göstermediğini belirlemek üzere istatistiksel analiz yapar.

Temel değerle birlikte özellik varyantları üzerinde A/B testi yapmak için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Deneme oluşturma

Remote Config denemesi, bir veya daha fazla Remote Config parametrede birden fazla varyantı değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'nin etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics seçeneğini etkinleştirmediyseniz Firebase konsolunda > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.

  3. Deneme oluştur'u tıklayın ve deneme yapmak istediğiniz hizmet sorulduğunda Remote Config simgesini seçin.

  4. Denemeniz için Ad ve isteğe bağlı olarak Açıklama girip Sonraki'yi tıklayın.

  5. Öncelikle denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ve'yi tıklayıp aşağıdaki listeden seçenekleri belirleyerek kullanıcılarınızın bir alt kümesini denemenize katılmaya hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Derleme numarası: Uygulamanın sürüm kodu
    • Diller: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • Ülke/Bölge: Denemeye dahil edilecek kullanıcıları seçmek için bir veya daha fazla ülke ya da bölge
    • Kullanıcı kitlesi: Analytics Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan kitleler
    • Kullanıcı özelliği: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla Analytics kullanıcı özelliği

    • İlk açılış: Uygulamanızı ilk açtıkları tarihe göre kullanıcıları hedefleyin

      İlk açılma zamanına göre kullanıcı hedefleme, bir Android veya iOS uygulaması seçtikten sonra kullanılabilir. Bu özellik, aşağıdaki Remote Config SDK sürümleri tarafından desteklenir: Apple platformları SDK'sı v9.0.0+ ve Android SDK'sı v21.1.1+ (Firebase BoM v30.3.0+).

      Analytics, ilk açılış etkinliği sırasında istemcide de etkinleştirilmiş olmalıdır.

  6. Hedef kullanıcıların yüzdesi: Uygulamanızın, Hedef kullanıcılar bölümünde belirlenen ölçütlere uyan ve denemenizde temel değer ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz kullanıcı tabanının yüzdesini girin. Bu değer, %0,01 ile %100 arasında herhangi bir yüzde olabilir. Kullanıcılar, yinelenen denemeler de dahil olmak üzere her denemeye rastgele atanır.

  7. İsteğe bağlı olarak, yalnızca önce bir Analytics etkinliğini tetikleyen kullanıcıların verilerinin denemenize dahil edilmesini sağlamak için bir etkinleştirme etkinliği ayarlayın. Hedefleme parametrelerinize uyan tüm kullanıcıların Remote Config deneysel değerler alacağını ancak yalnızca etkinleştirme etkinliğini tetikleyen kullanıcıların deneme sonuçlarınıza dahil edileceğini unutmayın.

    Geçerli bir deneme için seçtiğiniz etkinliğin, uygulamanızın getirilen yapılandırma değerlerini etkinleştirmesinden sonra gerçekleştiğinden emin olun. Ayrıca, aşağıdaki etkinlikler her zaman getirilen değerler etkinleştirilmeden önce gerçekleştiği için kullanılamaz:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. Denemenin hedefleri için izlenecek birincil metriği seçin ve listeden izlemek istediğiniz ek metrikleri ekleyin. Bunlar arasında yerleşik hedefler (satın almalar, gelir, elde tutma, kilitlenmesiz kullanıcılar vb.), Analytics dönüşüm etkinliği ve diğer Analytics etkinlik. İşlemi tamamladığınızda Sonraki'yi tıklayın.

  9. Varyantlar bölümünde bir referans değer ve deneme için en az bir varyant seçin. Denenecek bir veya daha fazla parametre eklemek için Yeni seçin veya oluşturun listesini kullanın. Firebase konsolunda daha önce kullanılmamış bir parametre oluşturabilirsiniz ancak bu parametrenin herhangi bir etkisi olması için uygulamanızda bulunması gerekir. Denemenize birden fazla parametre eklemek için bu adımı tekrarlayabilirsiniz.

  10. (İsteğe bağlı) Denemenize birden fazla varyant eklemek için Başka bir varyant ekle'yi tıklayın.

  11. Belirli varyantlar için bir veya daha fazla parametreyi değiştirin. Değiştirilmeyen tüm parametreler, denemeye dahil edilmeyen kullanıcılar için aynıdır.

  12. Denemenin varyant ağırlığını görüntülemek veya değiştirmek için Varyant Ağırlıkları'nı genişletin. Varsayılan olarak her varyant eşit şekilde ağırlıklandırılır. Eşit şekilde ağırlıklandırma yapılmaması veri toplama süresini uzatabilir, ayrıca deneme başladıktan sonra ağırlıklar değiştirilemez.

  13. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 denemeye izin verilir. Bunlardan en fazla 24'ü devam eden deneme olabilir. Diğerleri ise taslak veya tamamlanmış deneme olabilir.

Denemenizi bir test cihazında doğrulama

Her Firebase yüklemesi için yüklemeyle ilişkili yükleme kimlik doğrulama jetonunu alabilirsiniz. Bu jetonu, uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Yükleme yetkilendirme jetonunu aşağıdaki şekilde alın:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future<std::string>& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. Firebase konsol gezinme çubuğunda A/B Testi'ni tıklayın.
  3. Taslak'ı (ve/veya Remote Config denemeleri için Çalışıyor) tıklayın, fareyle denemenizin üzerine gelin, bağlam menüsünü () tıklayın ve ardından Test cihazlarını yönet'i tıklayın.
  4. Bir test cihazı için yükleme kimlik doğrulama jetonunu girin ve bu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazında alındığını onaylayın.

Firebase yüklemeleri hakkında daha fazla bilgi edinmek için Firebase yüklemelerini yönetme başlıklı makaleyi inceleyin.

Denemenizi yönetme

Remote Config, Bildirim Oluşturucu veya Firebase In-App Messaging ile bir deneme oluşturduktan sonra denemenizi doğrulayıp başlatabilir, deneme çalışırken denemenizi izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz tamamlandığında, kazanan varyantın kullandığı ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara uygulayabilirsiniz. Dilerseniz başka bir deneme de çalıştırabilirsiniz.

Bir deneme başlat

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızın, denemenize dahil edilecek kullanıcıları olduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütlere uyan kullanıcıların% 1'i).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. Proje başına aynı anda en fazla 24 deneme çalıştırabilirsiniz.

Denemeyi izleme

Bir deneme bir süredir çalışıyorsa ilerlemesini kontrol edebilir ve denemeye şu ana kadar katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü inceleyebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.

  2. Yayınlanıyor'u ve ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, devam eden denemenizle ilgili gözlemlenen ve modellenen çeşitli istatistikleri (aşağıdakiler dahil) görüntüleyebilirsiniz:

    • Temel değişkene göre yüzdelik fark: Belirli bir metrikte, referans değerle karşılaştırıldığında varyasyonun ne kadar iyileştiğini gösteren ölçü. Varyantın değer aralığı, referans değerin değer aralığıyla karşılaştırılarak hesaplanır.
    • Orijinali geçme olasılığı: Belirli bir varyantın, seçilen metrik için orijinalden daha iyi performans gösterme olasılığıdır.
    • observed_metric kullanıcı başına: Deneme sonuçlarına göre, metrik değerinin zaman içinde içinde yer alacağı tahmin edilen aralıktır.
    • Toplam observed_metric: Temel veya varyant için gözlemlenen kümülatif değer. Bu değer, her bir deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve Gelişme, Değer aralığı, Referansı geçme olasılığı ve En iyi varyant olma olasılığı metriklerini hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.

  3. Denemeniz bir süre (FCM ve In-App Messaging için en az 7 gün veya Remote Config için 14 gün) çalıştıktan sonra bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümler, verileri görsel biçimde sunan bir çubuk grafik ile birlikte verilir.

Denemeyi tüm kullanıcılara sunma

Bir deneme, hedef metriğiniz için "en iyi varyant" veya kazanan bir varyant belirleyebileceğiniz kadar uzun süre çalıştıktan sonra denemeyi tüm kullanıcılara sunabilirsiniz. Bu sayede, bundan sonraki tüm kullanıcılara yayınlanacak bir varyant seçebilirsiniz. Denemenizde kesin bir kazanan olmasa bile bir varyantı tüm kullanıcılarınıza sunmayı seçebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Tamamlandı veya Çalışıyor'u tıklayın, tüm kullanıcılara yayınlamak istediğiniz bir denemeyi tıklayın, bağlam menüsünü () tıklayın ve Varyantı başlat'ı seçin.

  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucu'nun kullanıldığı bir denemede, denemeye katılmayan kalan hedef kullanıcılara mesaj göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Bir Remote Config denemesi için hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir varyant seçin. Deneme oluşturulurken tanımlanan hedefleme ölçütleri, kullanıma sunma işleminin yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenir. Değişiklikleri incelemek için Review in Remote Config'i tıkladıktan sonra kullanıma sunma işlemini tamamlamak için Publish changes'i tıklayın.
    • In-App Messaging denemesi için, hangi varyantın bağımsız bir In-App Messaging kampanyası olarak kullanıma sunulması gerektiğini belirlemek üzere iletişim kutusunu kullanın. Seçim yapıldıktan sonra, yayınlamadan önce gerekli değişiklikleri yapmanız için FIAM oluşturma ekranına yönlendirilirsiniz.

Denemeyi genişletme

Bir denemenin A/B Testing için yeterli sayıda kullanıcı getirmediğini fark ederseniz denemenizin dağıtımını artırarak uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşabilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Denemeye genel bakış bölümünde bağlam menüsünü () ve ardından Çalışan denemeyi düzenle'yi tıklayın.
  4. Hedefleme iletişim kutusunda, devam eden denemeye dahil olan kullanıcıların yüzdesini artırma seçeneği gösterilir. Mevcut yüzdeden daha büyük bir sayı seçip Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine sunulur.

Denemeyi kopyalama veya durdurma

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Tamamlandı veya Çalışıyor'u tıklayın, fare işaretçisini denemenizin üzerine getirin, bağlam menüsünü () tıklayın ve ardından Denemeyi kopyala veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme ölçütü Operatörler Değerler Not
Sürüm içerir,
içermez,
tam olarak eşleşir,
normal ifade içerir		 Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

İçerir, içermez veya tam olarak eşleşir operatörlerinden herhangi birini kullanırken virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

Normal ifade içerir operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcı, sonu veya tamamıyla eşleşmek için ^ ve $ tutturucularını da kullanabilirsiniz.
Kullanıcı kitleleri tümünü içerir,
en az birini içerir,
tümünü içermez,
en az birini içermez		 Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitle seçin. Google Analytics kitlelerini hedefleyen bazı denemelerde, Analytics veri işleme gecikmesine tabi oldukları için veri birikmesi birkaç gün sürebilir. Bu gecikmeyle en çok, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydedilen yeni kullanıcılarda veya yeni oluşturulan kitlelerde karşılaşma olasılığınız yüksektir.

Remote Config için bu, bir kullanıcı teknik olarak bir kitleye uygun olsa bile Analytics, `fetchAndActivate()` yürütüldüğünde kullanıcıyı henüz kitleye eklememişse kullanıcının deneye dahil edilmeyeceği anlamına gelir.

Kullanıcı özelliği Metin için:
içerir,
içermez,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, > 		Analytics kullanıcı özelliği, denemeye dahil edilebilecek kullanıcıları seçmek için kullanılır. Kullanıcı özelliği değerlerini seçmeyle ilgili çeşitli seçenekler sunar.

İstemcide, kullanıcı özelliklerine yalnızca dize değerleri ayarlayabilirsiniz. Sayısal operatörlerin kullanıldığı koşullarda Remote Config hizmeti, ilgili kullanıcı özelliğinin değerini tam sayıya/kayan noktalı sayıya dönüştürür.		 Normal ifade içerir operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcı, sonu veya tamamıyla eşleşmek için ^ ve $ tutturucularını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke ya da bölge.  
Diller Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar.  
İlk açılış Önce
Sonra

Uygulamanızı ilk açtıkları tarihe göre kullanıcıları hedefleyin:

  • Belirli bir gelecekteki tarih ve saatten sonra uygulamanızı ilk kez açan kullanıcıları hedeflemek için Yeni kullanıcılar'ı seçin.
  • Belirttiğiniz tarih ve saatten önce veya sonraki aralıkta uygulamanızı ilk kez açan kullanıcıları hedeflemek için Zaman aralığı'nı seçin. Belirli bir zaman aralığındaki kullanıcıları hedeflemek için Önce ve Sonra koşullarını birleştirin.

İlk açılışa göre kullanıcı hedefleme, bir Android veya iOS uygulaması seçtikten sonra kullanılabilir. Şu anda aşağıdaki Remote Config SDK sürümleri tarafından desteklenmektedir: Apple platformları SDK'sı v9.0.0+ ve Android SDK'sı v21.1.1+ (Firebase BoM v30.3.0+).

Analytics, ilk açılış etkinliği sırasında istemcide de etkinleştirilmiş olmalıdır.

A/B Testing metrik

Denemenizi oluştururken, kazanan varyantı belirlemek için kullanılan birincil veya hedef metriği seçersiniz. Ayrıca, her deneme varyantının performansını daha iyi anlamanıza yardımcı olmak ve her varyant için farklılık gösterebilecek önemli trendleri (ör. kullanıcıları elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri) izlemek için diğer metrikleri de takip etmeniz gerekir. Denemenizde en fazla beş hedef dışı metrik izleyebilirsiniz.

Örneğin, uygulamanızda iki farklı oyun akışı başlatmak için Remote Config kullandığınızı ve uygulama içi satın alma işlemleri ile reklam gelirini optimize etmek istediğinizi ancak her varyantın kararlılığını ve kullanıcı elde tutma oranını da izlemek istediğinizi varsayalım. Bu durumda, uygulama içi satın alma geliri ve reklam gelirini içerdiğinden hedef metriğiniz olarak Tahmini toplam gelir'i seçebilirsiniz. Ardından, İzlenecek diğer metrikler için aşağıdakileri ekleyebilirsiniz:

  • Günlük ve haftalık kullanıcı elde tutma oranınızı izlemek için Elde tutma (2-3 gün) ve Elde tutma (4-7 gün) metriklerini ekleyin.
  • İki oyun akışı arasındaki kararlılığı karşılaştırmak için Kilitlenme sorunu yaşamayan kullanıcılar'ı ekleyin.
  • Her gelir türünün daha ayrıntılı görünümlerini görmek için Satın alma geliri ve Tahmini reklam geliri metriklerini ekleyin.

Aşağıdaki tablolarda, hedef metriklerinin ve diğer metriklerin nasıl hesaplandığıyla ilgili ayrıntılı bilgi verilmektedir.

Hedef metrikleri

Metrik Açıklama
Kilitlenme sorunu yaşamayan kullanıcılar Deneme sırasında Firebase Crashlytics SDK'sı tarafından algılanan ve uygulamanızda hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazançları.
Tahmini toplam gelir Satın alma ve tahmini reklam gelirlerinin birleştirilmiş değeri.
Satın alma geliri Tüm purchase ve in_app_purchase etkinliklerinin birleştirilmiş değeri.
Elde tutma (1 gün) Uygulamanıza günlük olarak geri dönen kullanıcı sayısı.
Elde tutma (2-3 gün) Uygulamanıza 2-3 gün içinde geri dönen kullanıcıların sayısı.
Elde tutma (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Elde tutma (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Elde tutma (en az 15 gün) Uygulamanızı son kullandıklarından 15 gün veya daha uzun bir süre sonra geri dönen kullanıcı sayısı.
first_open Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Açıklama
notification_dismiss Bildirim oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android).
notification_receive Bildirim oluşturucu tarafından gönderilen bir bildirim, uygulama arka plandayken alındığında tetiklenen bir Analytics etkinliği (yalnızca Android).
os_update Cihazın işletim sistemi yeni sürüme güncellendiğinde bunu izleyen bir Analytics etkinliğidir.Daha fazla bilgi için Otomatik olarak toplanan etkinlikler başlıklı makaleyi inceleyin.
screen_view Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliktir. Daha fazla bilgi için Ekran Görüntülemelerini İzleme başlıklı makaleyi inceleyin.
session_start Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliktir. Daha fazla bilgi için Otomatik olarak toplanan etkinlikler başlıklı makaleyi inceleyin.

BigQuery veri dışa aktarma

A/B Testing deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de de inceleyip analiz edebilirsiniz. A/B Testing için ayrı bir BigQuery tablosu olmasa da deneysel çalışma ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" biçimindedir. Burada 01, deneme kimliğini, userProperty.value.string_value ise deneme varyantının (sıfır tabanlı) dizinini içerir.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu sayede deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testing sonuçlarını bağımsız olarak doğrulayabilirsiniz.

Başlamak için bu rehberde açıklandığı şekilde aşağıdakileri tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarmayı etkinleştirme
  2. BigQuery kullanarak A/B Testing verilerine erişme
  3. Örnek sorguları inceleyin

Firebase konsolunda BigQuery için Google Analytics dışa aktarmayı etkinleştirme

Spark planındaysanız BigQuery korumalı alanını kullanarak BigQuery'a korumalı alan sınırları dahilinde ücretsiz olarak erişebilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery sanal alanı başlıklı makaleyi inceleyin.

Öncelikle Analytics verilerinizi BigQuery konumuna aktardığınızdan emin olun:

  1. Entegrasyonlar sekmesini açın. Bu sekmeye Firebase konsolunda > Proje ayarları'nı kullanarak erişebilirsiniz.
  2. BigQuery'yı diğer Firebase hizmetleriyle birlikte kullanıyorsanız Yönet'i tıklayın. Aksi takdirde, Bağla'yı tıklayın.
  3. Firebase'i BigQuery'e Bağlama Hakkında başlıklı makaleyi inceleyin, ardından Sonraki'yi tıklayın.
  4. Entegrasyonu yapılandırın bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.

  5. Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.

  6. BigQuery ile bağlantı oluştur'u tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hâle gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery dışa aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery dışa aktarma başlıklı makaleyi inceleyin.

BigQuery'de A/B Testing verilerine erişme

Belirli bir denemeyle ilgili verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tümünü edinmeniz gerekir:

  • Deneme kimliği: Bu kimliği, Denemeye genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 şeklinde görünüyorsa deneme kimliği 25'tir.
  • Google Analytics mülk kimliği: Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bu bilgiyi Google Analytics içinde bulabilirsiniz. Ayrıca, proje adınızı genişleterek Google Analytics etkinlik tablonuzun (project_name.analytics_000000000.events) adını gösterdiğinizde BigQuery içinde de görünür.
  • Deneme tarihi: Daha hızlı ve verimli bir sorgu oluşturmak için sorgularınızı deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (YYYYMMDD sonekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Bu nedenle, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştıysa _TABLE_SUFFIX between '20240202' AND '20240502' belirtirsiniz. Örnek için Belirli bir denemenin değerlerini seçme başlıklı makaleye bakın.
  • Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinizle eşleşir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Sorgunuzu oluşturmak için gereken bilgileri topladıktan sonra:

  1. Google Cloud konsolunda BigQuery'ı açın.
  2. Projenizi ve ardından SQL sorgusu oluştur'u seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için Örnek sorguları keşfetme bölümüne bakın.
  4. Çalıştır'ı tıklayın.

Firebase konsolunun otomatik olarak oluşturduğu sorguyu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfasında, görüntülediğiniz denemenin adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu yer alır.

Otomatik olarak oluşturulan sorguyu almak ve çalıştırmak için:

  1. Firebase konsolunda A/B Testing simgesini açın ve sorgulamak istediğiniz A/B Testing denemesini seçerek Denemeye genel bakış'ı açın.
  2. Seçenekler menüsünde, BigQuery entegrasyonu bölümünde Sorgu denemesi verileri'ni seçin. Bu işlem, projenizi BigQuery içinde açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.Google Cloud

Aşağıdaki örnekte, "Kışa hoş geldin denemesi" adlı üç varyantlı (referans değeri dahil) bir deneme için oluşturulan sorgu gösterilmektedir. Etkin deneme adını, varyant adını, benzersiz etkinliği ve her etkinlik için etkinlik sayısını döndürür. Sorgu oluşturucunun, doğrudan projenizde açıldığından tablo adında proje adınızı belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları inceleme bölümüne gidin.

Keşfedin özelliğiyle ilgili örnek sorgular

Aşağıdaki bölümlerde, A/B Testing deneme verilerini Google Analytics etkinlik tablolarından ayıklamak için kullanabileceğiniz sorgularla ilgili örnekler verilmiştir.

Tüm denemelerden satın alma ve deneme standart sapma değerlerini ayıklayın.

Deneme sonuçları verilerini kullanarak Firebase A/B Testing sonuçları bağımsız olarak doğrulayabilirsiniz. Aşağıdaki BigQuery SQL ifadesi deneme varyantlarını, her varyanttaki tekil kullanıcı sayısını ve in_app_purchase ile ecommerce_purchase etkinliklerinden elde edilen toplam geliri, _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları çıkarır. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak için bu sorgudan elde ettiğiniz verileri tek kuyruklu t-testleri için istatistiksel önemlilik üreteciyle birlikte kullanabilirsiniz.

A/B Testing'nın çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için Test sonuçlarını yorumlama başlıklı makaleyi inceleyin.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçme

Aşağıdaki örnek sorgu, BigQuery içinde belirli bir denemeyle ilgili verilerin nasıl alınacağını gösterir. Bu örnek sorgu, deneme adını, varyant adlarını (temel varyant dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName