A/B Testi ile Firebase Uzaktan Yapılandırma Denemeleri Oluşturun

Etkin bir kullanıcı tabanına sahip bir uygulamanın ayarlarını dağıtmak için Firebase Remote Config'i kullandığınızda, doğru yaptığınızdan emin olmak istersiniz. Aşağıdakileri en iyi şekilde belirlemek için A/B Testi denemelerini kullanabilirsiniz:

  • Kullanıcı deneyimini optimize edecek bir özelliği uygulamanın en iyi yolu. Çoğu zaman uygulama geliştiricileri, uygulamalarının uygulama mağazasındaki derecelendirmesi düşene kadar kullanıcılarının yeni bir özellikten veya güncellenmiş bir kullanıcı deneyiminden hoşlanmadığını öğrenmezler. A/B testi, kullanıcılarınızın yeni özellik çeşitlerini beğenip beğenmediğini veya uygulamayı mevcut haliyle tercih edip etmediğini ölçmenize yardımcı olabilir. Ayrıca, kullanıcılarınızın çoğunu bir temel grupta tutmak, kullanıcı tabanınızın çoğunun, deneme sonuçlanana kadar davranışında veya görünümünde herhangi bir değişiklik yaşamadan uygulamanızı kullanmaya devam edebilmesini sağlar.
  • Bir iş hedefi için kullanıcı deneyimini optimize etmenin en iyi yolu. Bazen gelir veya elde tutma gibi bir ölçümü en üst düzeye çıkarmak için ürün değişiklikleri uyguluyorsunuz. A/B testiyle iş hedefinizi belirlersiniz ve Firebase, bir varyantın seçtiğiniz hedef için temel değerden daha iyi performans gösterip göstermediğini belirlemek için istatistiksel analizi gerçekleştirir.

Temelli A/B testi özelliği çeşitleri için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Bir deneme oluşturun

Remote Config denemesi, bir veya daha fazla Remote Config parametresindeki birden çok değişkeni değerlendirmenize olanak tanır.

  1. Firebase konsolunda oturum açın ve denemenin Analytics verilerine erişebilmesi için projenizde Google Analytics'in etkinleştirildiğini doğrulayın.

    Projenizi oluştururken Google Analytics'i etkinleştirmediyseniz Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.

  3. Deneme oluştur 'a tıklayın ve ardından deneme yapmak istediğiniz hizmet istendiğinde Uzaktan Yapılandırma'yı seçin.

  4. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri'yi tıklayın.

  5. Öncelikle denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca ve işaretlerini tıklayıp ardından aşağıdaki listeden seçenekleri belirleyerek kullanıcılarınızın bir alt kümesini denemenize katılmaya hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Yapı numarası: Uygulamanın sürüm kodu
    • Diller: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • Ülke/Bölge: Denemeye dahil edilecek kullanıcıların seçilmesi için bir veya daha fazla ülke ya da bölge
    • Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan Analytics kitleleri
    • Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı özelliği
    • İlk açılış: Kullanıcıları uygulamanızı ilk açtıkları zamana göre hedefleyin

      İlk açılma zamanına göre kullanıcı hedefleme, bir Android veya iOS uygulamasını seçtikten sonra kullanılabilir. Aşağıdaki Remote Config SDK sürümleri tarafından desteklenir: Apple platformları SDK v9.0.0+ ve Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

      İlk açık etkinlik sırasında analizlerin istemcide de etkinleştirilmesi gerekir.

  6. Hedef kullanıcıların yüzdesini ayarlayın: Uygulamanızın kullanıcı tabanının, denemenizdeki temel ile bir veya daha fazla varyant arasında eşit olarak bölmek istediğiniz Kullanıcıları hedefle altında belirlenen ölçütlerle eşleşen yüzdesini girin. Bu %0,01 ile %100 arasında herhangi bir yüzde olabilir. Kullanıcılar, yinelenen deneyler de dahil olmak üzere her deneye rastgele atanır.

  7. İsteğe bağlı olarak, denemenizde yalnızca bazı Analytics etkinliklerini ilk kez tetikleyen kullanıcılara ait verilerin sayıldığından emin olmak için bir etkinleştirme etkinliği ayarlayın. Hedefleme parametrelerinizle eşleşen tüm kullanıcıların Remote Config deneysel değerlerini alacağını ancak yalnızca bir etkinleştirme etkinliğini tetikleyenlerin deneme sonuçlarınıza dahil edileceğini unutmayın.

    Geçerli bir deneme sağlamak için seçtiğiniz etkinliğin, uygulamanız getirilen yapılandırma değerlerini etkinleştirdikten sonra gerçekleştiğinden emin olun. Ayrıca aşağıdaki olaylar, her zaman getirilen değerler etkinleştirilmeden önce meydana geldiğinden kullanılamaz:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open
  8. Denemenin Hedefleri için izlenecek birincil metriği seçin ve izlemek istediğiniz ek metrikleri listeden ekleyin. Bunlara yerleşik hedefler (satın alma işlemleri, gelir, elde tutma, kilitlenmeyen kullanıcılar vb.), Analytics dönüşüm etkinlikleri ve diğer Analytics etkinlikleri dahildir. İşiniz bittiğinde İleri'ye tıklayın.

  9. Varyantlar bölümünde deneme için bir temel ve en az bir varyant seçin. Deneme yapmak üzere bir veya daha fazla parametre eklemek için Yeni seç veya oluştur listesini kullanın. Firebase konsolunda daha önce kullanılmamış bir parametre oluşturabilirsiniz ancak bunun etkili olabilmesi için uygulamanızda mevcut olması gerekir. Denemenize birden fazla parametre eklemek için bu adımı tekrarlayabilirsiniz.

  10. (isteğe bağlı) Denemenize birden fazla varyant eklemek için Başka bir varyant ekle 'yi tıklayın.

  11. Belirli varyantlar için bir veya daha fazla parametreyi değiştirin. Değiştirilmeyen parametreler, denemeye dahil olmayan kullanıcılar için aynıdır.

  12. Denemenin varyant ağırlığını görüntülemek veya değiştirmek için Varyant Ağırlıkları'nı genişletin. Varsayılan olarak her değişken eşit şekilde ağırlıklandırılır. Eşit olmayan ağırlıkların veri toplama süresini artırabileceğini ve ağırlıkların deney başladıktan sonra değiştirilemeyeceğini unutmayın.

  13. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 deney yapmanıza izin verilir; bunlar, 24'e kadar devam eden deneyden oluşabilir, geri kalanı taslak halinde veya tamamlanmış olabilir.

Denemenizi bir test cihazında doğrulayın

Her Firebase kurulumu için, onunla ilişkili kurulum kimlik doğrulama jetonunu alabilirsiniz. Uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için bu jetonu kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. Kurulum kimlik doğrulama belirtecini aşağıdaki şekilde alın:

    Süratli

    do {
      let result = try await Installations.installations()
        .authTokenForcingRefresh(true)
      print("Installation auth token: \(result.authToken)")
    } catch {
      print("Error fetching token: \(error)")
    }
    

    Amaç-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    val forceRefresh = true
    FirebaseInstallations.getInstance().getToken(forceRefresh)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
    

    Birlik

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
        }
      });
    
  2. Firebase konsolu gezinme çubuğunda A/B Testi'ni tıklayın.
  3. Taslak'a (ve/veya Uzaktan Yapılandırma denemeleri için Çalıştırılıyor ) tıklayın, denemenizin üzerine gelin, içerik menüsüne ( ) tıklayın ve ardından Test cihazlarını yönet'e tıklayın.
  4. Bir test cihazı için kurulum kimlik doğrulama jetonunu girin ve söz konusu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazına alındığını doğrulayın.

Firebase yüklemeleri hakkında daha fazla bilgi edinmek için Firebase yüklemelerini yönetme konusuna bakın.

Denemenizi yönetin

Remote Config, Bildirimler oluşturucu veya Firebase Uygulama İçi Mesajlaşma ile bir deneme oluştursanız da, denemenizi doğrulayıp başlatabilir, denemenizi çalışırken izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz tamamlandığında kazanan varyantın kullandığı ayarları not edebilir ve ardından bu ayarları tüm kullanıcılara sunabilirsiniz. Veya başka bir deneme çalıştırabilirsiniz.

Bir deneme başlatın

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızda denemenize dahil edilecek kullanıcıların bulunduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan büyük bir sayı olup olmadığını kontrol edin (örneğin, ölçütlerle eşleşen kullanıcıların %1'i ).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. Proje başına aynı anda en fazla 24 deneme çalıştırabilirsiniz.

Bir deneyi izleme

Bir deneme bir süre çalıştırıldıktan sonra, ilerleme durumunu kontrol edebilir ve şu ana kadar denemenize katılan kullanıcılar için sonuçlarınızın nasıl göründüğünü görebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Çalıştırılıyor'u tıklayın ve ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, aşağıdakiler de dahil olmak üzere, çalıştırılan denemenizle ilgili çeşitli gözlemlenen ve modellenen istatistikleri görüntüleyebilirsiniz:

    • Taban çizgisinden fark yüzdesi : Belirli bir değişken için bir metriğin taban çizgisine kıyasla iyileşmesinin ölçüsü. Varyant için değer aralığını temel değer aralığıyla karşılaştırarak hesaplanır.
    • Taban çizgisini geçme olasılığı : Belirli bir değişkenin, seçilen metriğin temel çizgisini geçme olasılığı.
    • kullanıcı başına observed_metric : Deneme sonuçlarına göre bu, metrik değerinin zaman içinde düşeceği tahmin edilen aralıktır.
    • Toplam observed_metric : Referans değer veya değişken için gözlemlenen kümülatif değer. Değer, her deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileştirme , Değer aralığı , Taban çizgisini geçme olasılığı ve en iyi varyant olma Olasılığı'nı hesaplamak için kullanılır. Ölçülen ölçüme bağlı olarak bu sütun, "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
  3. Denemeniz bir süre (FCM ve Uygulama İçi Mesajlaşma için en az 7 gün veya Remote Config için 14 gün) çalıştırıldıktan sonra bu sayfadaki veriler, varsa hangi varyantın "lider" olduğunu gösterir. Bazı ölçümlere, verileri görsel formatta sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunma

Bir deneme, hedef metriğiniz için bir "lider" veya kazanan değişken elde etmenize yetecek kadar uzun süre çalıştırıldıktan sonra, denemeyi kullanıcıların %100'üne yayınlayabilirsiniz. Bu, ileriye dönük olarak tüm kullanıcılara yayınlanacak bir varyant seçmenize olanak tanır. Denemeniz net bir kazanan yaratmamış olsa bile, yine de bir varyantı tüm kullanıcılarınıza yayınlamayı seçebilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, tüm kullanıcılara yayınlamak istediğiniz bir denemeyi tıklayın, bağlam menüsünü ( ) Kullanıma sun seçeneğini tıklayın.
  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirim oluşturucusunu kullanan bir deneme için, mesajı denemenin parçası olmayan kalan hedeflenen kullanıcılara göndermek için Mesajı kullanıma sun iletişim kutusunu kullanın.
    • Remote Config denemesi için, hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir değişken seçin. Denemeyi oluştururken tanımlanan hedefleme ölçütleri, kullanıma sunmanın yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenir. Değişiklikleri gözden geçirmek için Remote Config'de Gözden Geçir'e tıkladıktan sonra, kullanıma sunma işlemini tamamlamak için Değişiklikleri yayınla'ya tıklayın.
    • Uygulama İçi Mesajlaşma denemesi için, hangi varyantın bağımsız bir Uygulama İçi Mesajlaşma kampanyası olarak kullanıma sunulması gerektiğini belirlemek için iletişim kutusunu kullanın. Seçildikten sonra yayınlamadan önce herhangi bir değişiklik yapmak (gerekiyorsa) için FIAM oluşturma ekranına yönlendirilirsiniz.

Bir denemeyi genişlet

Bir denemenin, A/B Testinin lider ilan etmesine yetecek kadar kullanıcı getirmediğini fark ederseniz, uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Deneye genel bakış bölümünde içerik menüsüne ( ) tıklayın ve ardından Çalışan deneyi düzenle'ye tıklayın.
  4. Hedefleme iletişim kutusunda, yürütülen denemede yer alan kullanıcıların yüzdesini artırmaya yönelik bir seçenek görüntülenir. Geçerli yüzdeden daha büyük bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine aktarılacaktır.

Bir denemeyi çoğaltın veya durdurun

  1. Firebase konsolu gezinme menüsünün Etkileşim bölümünde A/B Testi'ni tıklayın.
  2. Tamamlandı veya Çalıştırılıyor'u tıklayın, imleci denemenizin üzerinde tutun, içerik menüsünü ( ) tıklayın ve ardından Denemeyi çoğalt veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme kriterlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme kriteri Operatör(ler) Değer(ler) Not
Sürüm içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

içerir , içermez veya tam olarak eşleşen operatörlerden herhangi birini kullanırken, virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.

Kullanıcı kitlesi/kitleleri hepsini içerir,
aşağıdakilerden en az birini içerir:
hepsini kapsamaz,
en az birini içermiyor
Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı denemeler, Analytics veri işleme gecikmesine tabi olduğundan veri toplamak için birkaç gün gerekebilir. Bu gecikmeyle, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydolan yeni kullanıcılarda veya yakın zamanda oluşturulan kitlelerde karşılaşma olasılığınız yüksektir.

Remote Config için bu, bir kullanıcı teknik olarak bir kitle için uygun olsa bile, "fetchAndActivate()" yürütüldüğünde Analytics kullanıcıyı henüz kitleye eklememişse kullanıcının denemeye dahil edilmeyeceği anlamına gelir.

Kullanıcı özelliği Metin için:
içerir,
içermiyor,
tam olarak eşleşir,
normal ifade içerir

Sayılar için:
<, ≤, =, ≥, >
Bir Analytics kullanıcı mülkü, bir denemeye dahil edilebilecek kullanıcıları seçmek için, kullanıcı özelliği değerlerini seçmeye yönelik çeşitli seçeneklerle birlikte kullanılır.

İstemcide kullanıcı özellikleri için yalnızca dize değerlerini ayarlayabilirsiniz. Sayısal işleçlerin kullanıldığı koşullar için Remote Config hizmeti, karşılık gelen kullanıcı özelliğinin değerini bir tam sayıya/değişken sayıya dönüştürür.
Normal ifadeler içerir operatörünü kullanırken, RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizesinin tamamıyla veya bir kısmıyla eşleşebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ bağlantılarını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla ülke ya da bölge kullanıldı.
Diller Yok Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla dil ve yerel ayar kullanıldı.
İlk açılış Önce
Sonrasında

Kullanıcıları uygulamanızı ilk açtıkları zamana göre hedefleyin:

  • Gelecekteki belirli bir tarih ve saatten sonra uygulamanızı ilk kez açan kullanıcıları hedeflemek için Yeni kullanıcılar'ı seçin.
  • Belirttiğiniz tarih ve saatten önce veya sonra uygulamanızı ilk kez açan kullanıcıları hedeflemek için Zaman aralığı'nı seçin. Belirli bir zaman aralığındaki kullanıcıları hedeflemek için Önce ve Sonra koşullarını birleştirin.

İlk açılışa göre kullanıcı hedefleme, bir Android veya iOS uygulamasını seçtikten sonra kullanılabilir. Şu anda aşağıdaki Remote Config SDK sürümleri tarafından desteklenmektedir: Apple platformları SDK v9.0.0+ ve Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

İlk açık etkinlik sırasında analizlerin istemcide de etkinleştirilmesi gerekir.

A/B Testi metrikleri

Denemenizi oluşturduğunuzda kazanan seçeneği belirlemek için kullanılacak birincil veya hedef metriği seçersiniz. Ayrıca, her deneme varyantının performansını daha iyi anlamanıza ve kullanıcıyı elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her varyant için farklılık gösterebilecek önemli eğilimleri izlemenize yardımcı olacak diğer metrikleri de izlemelisiniz. Denemenizde en fazla beş hedef dışı metriği izleyebilirsiniz.

Örneğin, uygulamanızda iki farklı oyun akışını başlatmak için Remote Config'i kullandığınızı ve uygulama içi satın almalar ve reklam geliri için optimizasyon yapmak istediğinizi, ancak aynı zamanda her bir varyantın kararlılığını ve kullanıcıyı elde tutma oranını da izlemek istediğinizi varsayalım. Bu durumda, uygulama içi satın alma gelirini ve reklam gelirini içerdiği için hedef metriğiniz olarak Tahmini toplam geliri seçmeyi düşünebilirsiniz ve ardından, İzlenecek Diğer metrikler için aşağıdakileri ekleyebilirsiniz:

  • Günlük ve haftalık kullanıcı tutma oranınızı izlemek için Elde Tutma (2-3 gün) ve Elde Tutma (4-7 gün) ekleyin.
  • İki oyun akışı arasındaki kararlılığı karşılaştırmak için Kilitlenmeyen kullanıcıları ekleyin.
  • Her gelir türüne ilişkin daha ayrıntılı görünümler görmek için Satın alma geliri ve Tahmini reklam geliri'ni ekleyin.

Aşağıdaki tablolarda hedef metriklerinin ve diğer metriklerin nasıl hesaplandığına ilişkin ayrıntılar verilmektedir.

Hedef metrikleri

Metrik Tanım
Kilitlenme sorunu yaşamayan kullanıcılar Deneme sırasında Firebase Crashlytics SDK'sı tarafından uygulamanızda tespit edilen hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazancı.
Tahmini toplam gelir Satın alma değeri ve tahmini reklam gelirlerinin birleşimi.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Saklama (1 gün) Günlük olarak uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (2-3 gün) 2-3 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (8-14 gün) 8-14 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Saklama (15+ gün) Uygulamanızı son kullandıktan 15 gün veya daha uzun süre sonra uygulamanıza geri dönen kullanıcıların sayısı.
ilk_açık Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Tanım
bildirim_dismiss Bildirimler oluşturucusu tarafından gönderilen bir bildirim kapatıldığında tetiklenen bir Analytics etkinliği (yalnızca Android).
bildirim_alma Uygulama arka plandayken (yalnızca Android) Bildirimler oluşturucusu tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics etkinliği.
os_update Cihaz işletim sisteminin yeni bir sürüme güncellendiğini izleyen bir Analytics olayı. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.
ekran_görünümü Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran Görüntülemelerini İzleme bölümüne bakın.
oturum_başlangıcı Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi edinmek için Otomatik olarak toplanan etkinlikler bölümüne bakın.

BigQuery verilerini dışa aktarma

A/B Testi deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testi'nin ayrı bir BigQuery tablosu bulunmamakla birlikte deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" burada 01 , deneme kimliğidir ve userProperty.value.string_value , deneme kimliğinin (sıfır tabanlı) dizinini içerir. deneme varyantı.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu size deneme sonuçlarınızı birçok farklı şekilde dilimleme ve A/B Testinin sonuçlarını bağımsız olarak doğrulama gücü verir.

Başlamak için aşağıdakileri bu kılavuzda açıklandığı şekilde tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
  2. BigQuery'yi kullanarak A/B Testi verilerine erişme
  3. Örnek sorguları keşfedin

Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin

Spark planını kullanıyorsanız Sandbox sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanına bakın.

Öncelikle Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

  1. Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
  2. BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi halde Bağlantı'yı tıklayın.
  3. Firebase'i BigQuery'ye Bağlama Hakkında'yı inceleyin ve ardından İleri'yi tıklayın.
  4. Entegrasyonu yapılandır bölümünde Google Analytics geçişini etkinleştirin.
  5. Bir bölge seçin ve dışa aktarma ayarlarını seçin.

  6. BigQuery'ye Bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma konusuna bakın.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemeye ilişkin verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tamamını elde etmek isteyeceksiniz:

  • Deney Kimliği: Bunu Deneye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir .
  • Google Analytics mülk kimliği : Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics'te bulabilirsiniz; proje adınızı Google Analytics etkinlik tablonuzun adını ( project_name.analytics_000000000.events ) gösterecek şekilde genişlettiğinizde BigQuery'de de görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle ( YYYYMMDD son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024'ten 2 Mayıs 2024'e kadar yürütüldüyse _TABLE_SUFFIX between '20240202' AND '20240502' belirtmeniz gerekir. Örnek için bkz. Belirli bir denemenin değerlerini seçme .
  • Etkinlik adları: Genellikle bunlar, denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

Sorgunuzu oluşturmak için ihtiyaç duyduğunuz bilgileri topladıktan sonra:

  1. BigQuery'yi Google Cloud konsolunda açın.
  2. Projenizi seçin ve ardından SQL sorgusu oluştur öğesini seçin.
  3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için bkz. Örnek sorguları keşfetme .
  4. Çalıştıra tıkla .

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülemekte olduğunuz denemeye ilişkin deneme adını, varyantları, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sağlar.

Otomatik olarak oluşturulan sorguyu edinmek ve çalıştırmak için:

  1. Firebase konsolundan A/B Testini açın ve Denemeye genel bakışı açmak için sorgulamak istediğiniz A/B Testi denemesini seçin.
  2. Seçenekler menüsünden BigQuery entegrasyonunun altında Deneme verilerini sorgula'yı seçin. Bu, projenizi Google Cloud konsol konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnek, "Kışı karşılama deneyi" adlı üç değişkeni (taban çizgisi dahil) içeren bir deneme için oluşturulmuş bir sorguyu gösterir. Her bir etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun doğrudan projenizin içinde açıldığı için tablo adında proje adınızı belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları keşfetme bölümüne geçin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini çıkarmak için kullanabileceğiniz sorgu örnekleri verilmektedir.

Tüm deneylerden satın alma ve deney standart sapma değerlerini çıkarın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme değişkenlerini, her bir değişkendeki benzersiz kullanıcı sayısını çıkarır ve in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX başlangıç ​​ve bitiş tarihleri ​​olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testinin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için bkz. Test sonuçlarını yorumlama .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir denemeye ilişkin verilerin nasıl elde edileceğini göstermektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Temel Çizgi dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName