A/B Testi ile Mesajlaşma Denemeleri Oluşturma

Kullanıcılarınıza ulaştığınızda veya yeni bir pazarlama kampanyası başlattığınızda doğru şekilde ilerlediğinizden emin olmak istersiniz. A/B testi, mesaj varyantlarını kullanıcı tabanınızın belirli bölümlerinde test ederek en uygun kelimeleri ve sunumu bulmanıza yardımcı olabilir. Hedefiniz bir teklifte daha iyi elde tutma veya dönüşüm olsun, A/B testi, bir mesaj varyantının seçtiğiniz hedef için referans değerinden daha iyi performans gösterip göstermediğini belirlemek üzere istatistiksel analiz yapabilir.

Özellik varyantlarını bir referansla A/B testi yapmak için aşağıdakileri yapın:

  1. Denemenizi oluşturun.
  2. Denemenizi bir test cihazında doğrulayın.
  3. Denemenizi yönetin.

Deneme oluşturma

Bildirimler derleyicisini kullanan bir deneme, tek bir bildirim mesajında birden fazla varyantı değerlendirmenize olanak tanır.

  1. Denemenin Analytics verilerine erişebilmesi için Firebase konsolunda oturum açın ve projenizde Google Analytics'ın etkin olduğunu doğrulayın.

    Projenizi oluştururken Google Analytics'ü etkinleştirmediyseniz Firebase konsolunda > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.

  2. Firebase Console gezinme çubuğunun Etkileşim bölümünde A/B Testing simgesini tıklayın.

  3. Deneme oluştur'u tıklayın ve denemek istediğiniz hizmet için istendiğinde Bildirimler'i seçin.

  4. Denemeniz için bir Ad ve isteğe bağlı olarak bir Açıklama girip İleri'yi tıklayın.

  5. Önce denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, aşağıdakileri içeren seçenekler belirleyerek kullanıcılarınızın bir alt kümesini denemenize katılmaları için hedefleyebilirsiniz:

    • Sürüm: Uygulamanızın bir veya daha fazla sürümü
    • Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan Analytics kitle
    • Kullanıcı özelliği: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı özelliği
    • Ülke/Bölge: Denemeye dahil edilebilecek kullanıcıların seçileceği bir veya daha fazla ülke veya bölge
    • Cihaz dili: Deneme kapsamına dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
    • İlk açılış: Uygulamanızı ilk açtıkları tarihe göre kullanıcıları hedefleyin
    • Son uygulama etkileşimi: Kullanıcıları, uygulamanızla son etkileşimde bulundukları zamana göre hedefleyin
  6. Hedef kullanıcıların yüzdesini ayarlayın:Uygulamanızın kullanıcı tabanının, Hedef kullanıcılar altında belirlenen ölçütlere uyan ve denemenizdeki referans değer ile bir veya daha fazla varyant arasında eşit bir şekilde bölmek istediğiniz yüzdeyi seçin. Bu değer, %0,01 ile %100 arasında herhangi bir yüzde olabilir. Yüzdeler, kopyalanan denemeler dahil olmak üzere her deneme için kullanıcılara rastgele yeniden atanır.

  7. Varyantlar bölümünde, Mesaj metnini girin alanına temel gruba gönderilecek bir mesaj yazın. Referans grubuna mesaj gönderilmemesi için bu alanı boş bırakın.

  8. (isteğe bağlı) Denemenize birden fazla varyant eklemek için Varyant Ekle'yi tıklayın. Denemelerde varsayılan olarak bir referans değer ve bir varyant bulunur.

  9. (İsteğe bağlı) Varyant A, Varyant B vb. adları değiştirmek üzere denemenizdeki her varyant için bir ad girin.

  10. Açılır listeden istediğiniz ek metriklerle birlikte deneme varyantlarını değerlendirirken denemeniz için kullanılacak bir hedef metrik tanımlayın. Bu metrikler yerleşik hedefler (etkileşim, satın almalar, gelir, elde tutma vb.) içerir. Analytics dönüşüm etkinlikleri ve diğer Analytics etkinlikleri.

  11. Mesajınızla ilgili seçenekleri belirleyin:

    • Yayınlanma tarihi: Denemenizi kaydettikten hemen sonra başlatmak için Şimdi Gönder'i veya denemenizi gelecekte başlatmak için bir zaman belirtmek üzere Planlandı'yı seçin.
    • Gelişmiş seçenekler: Denemenize dahil edilen tüm bildirimler için gelişmiş seçenekleri belirlemek üzere Gelişmiş seçenekler'i genişletin ve listelenen mesaj seçeneklerinden herhangi birini değiştirin.
  12. Denemenizi kaydetmek için İncele'yi tıklayın.

Proje başına en fazla 300 deneme oluşturabilirsiniz. Bu denemelerden en fazla 24 tanesi yayınlanabilir durumda olabilir. Diğerleri taslak veya tamamlanmış olarak kalır.

Denemenizi test cihazında doğrulama

Her Firebase kurulumu için, kurulumla ilişkili FCM kayıt jetonunu alabilirsiniz. Bu jetonu, uygulamanızın yüklü olduğu bir test cihazında belirli deneme varyantlarını test etmek için kullanabilirsiniz. Denemenizi bir test cihazında doğrulamak için aşağıdakileri yapın:

  1. FCM kayıt jetonunu aşağıdaki şekilde alın:

    Swift

    Messaging.messaging().token { token, error in
      if let error = error {
        print("Error fetching FCM registration token: \(error)")
      } else if let token = token {
        print("FCM registration token: \(token)")
        self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
      }
    }

    Objective-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
      if (error != nil) {
        NSLog(@"Error getting FCM registration token: %@", error);
      } else {
        NSLog(@"FCM registration token: %@", token);
        self.fcmRegTokenMessage.text = token;
      }
    }];

    Java

    FirebaseMessaging.getInstance().getToken()
        .addOnCompleteListener(new OnCompleteListener<String>() {
            @Override
            public void onComplete(@NonNull Task<String> task) {
              if (!task.isSuccessful()) {
                Log.w(TAG, "Fetching FCM registration token failed", task.getException());
                return;
              }
    
              // Get new FCM registration token
              String token = task.getResult();
    
              // Log and toast
              String msg = getString(R.string.msg_token_fmt, token);
              Log.d(TAG, msg);
              Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
            }
        });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
        if (!task.isSuccessful) {
            Log.w(TAG, "Fetching FCM registration token failed", task.exception)
            return@OnCompleteListener
        }
    
        // Get new FCM registration token
        val token = task.result
    
        // Log and toast
        val msg = getString(R.string.msg_token_fmt, token)
        Log.d(TAG, msg)
        Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
    })

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future<std::string>& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
        }
      });
  2. Firebase Console gezinme çubuğunda A/B Testi'ni tıklayın.
  3. Taslak'ı tıklayın, fareyle denemenizin üzerine gelin, bağlam menüsünü () ve ardından Test cihazlarını yönet'i tıklayın.
  4. Bir test cihazının FCM jetonunu girin ve söz konusu test cihazına gönderilecek deneme varyantını seçin.
  5. Uygulamayı çalıştırın ve seçilen varyantın test cihazında alındığını onaylayın.

Denemenizi yönetme

Remote Config, Bildirimler derleyicisi veya Firebase In-App Messaging ile deneme oluşturduktan sonra denemenizi doğrulayıp başlatabilir, çalışırken izleyebilir ve çalışan denemenize dahil edilen kullanıcı sayısını artırabilirsiniz.

Denemeniz tamamlandığında, kazanan varyantın kullandığı ayarları not alıp bu ayarları tüm kullanıcılara sunabilirsiniz. Ya da başka bir deneme çalıştırabilirsiniz.

Bir deneme başlat

  1. Firebase Console gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Taslak'ı ve ardından denemenizin başlığını tıklayın.
  3. Uygulamanızda denemenize dahil edilecek kullanıcılar olduğunu doğrulamak için taslak ayrıntılarını genişletin ve Hedefleme ve dağıtım bölümünde %0'dan yüksek bir sayı olup olmadığını kontrol edin (örneğin, ölçütlere uyan kullanıcıların %1'i).
  4. Denemenizi değiştirmek için Düzenle'yi tıklayın.
  5. Denemenizi başlatmak için Denemeyi Başlat'ı tıklayın. Proje başına tek seferde en fazla 24 deneme çalıştırabilirsiniz.

Deneme izleme

Bir deneme bir süre çalıştıktan sonra, ilerlemesini kontrol edebilir ve sonuçlarınızın, denemenize şimdiye kadar katılan kullanıcılar için nasıl göründüğünü görebilirsiniz.

  1. Firebase Console gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Çalışıyor'u ve ardından denemenizin başlığını tıklayın veya arayın. Bu sayfada, aşağıdakiler dahil olmak üzere, devam eden denemenizle ilgili çeşitli gözlemlenen ve modellenmiş istatistikleri görüntüleyebilirsiniz:

    • Referans değere göre yüzdelik fark: Belirli bir varyant için bir metriğin referans değere kıyasla iyileşme oranını gösteren bir ölçümdür. Varyantın değer aralığı, referans değerin değer aralığıyla karşılaştırılarak hesaplanır.
    • Referans değeri geçme olasılığı: Belirli bir varyantın, seçilen metrik için referans değeri geçme olasılığı.
    • Kullanıcı başına observed_metric: Deneme sonuçlarına göre bu, metrik değerinin zaman içinde yer alacağı tahmini aralıktır.
    • Toplam observed_metric: Referans değer veya varyant için gözlemlenen kümülatif değer. Bu değer, her bir deneme varyantının ne kadar iyi performans gösterdiğini ölçmek için kullanılır ve İyileşme, Değer aralığı, Referans değeri aşma olasılığı ve En iyi varyant olma olasılığı'nı hesaplamak için kullanılır. Ölçülen metriğe bağlı olarak bu sütun "Kullanıcı başına süre", "Kullanıcı başına gelir", "Elde tutma oranı" veya "Dönüşüm oranı" olarak etiketlenebilir.
  3. Denemeniz bir süre çalıştıktan sonra (FCM ve In-App Messaging için en az 7 gün veya Remote Config için 14 gün), bu sayfadaki veriler, varsa "önde gelen" varyantı gösterir. Bazı ölçümlere, verileri görsel biçimde sunan bir çubuk grafik eşlik eder.

Bir denemeyi tüm kullanıcılara sunma

Bir deneme, hedef metriğiniz için "en iyi varyant" veya kazanan bir varyant belirlemenize yetecek kadar uzun süre çalıştıktan sonra denemeyi kullanıcıların %100'üne yayınlayabilirsiniz. Bu sayede, bundan sonra tüm kullanıcılara yayınlamak için bir varyant seçebilirsiniz. Denemeniz kesin bir kazanan oluşturmamış olsa bile bir varyantı tüm kullanıcılarınıza sunmayı seçebilirsiniz.

  1. Firebase Console gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Tamamlandı veya Yürütülüyor'u, tüm kullanıcılara yayınlamak istediğiniz denemeyi, bağlam menüsünü () ve Varyantı başlat'ı tıklayın.
  3. Aşağıdakilerden birini yaparak denemenizi tüm kullanıcılara sunun:

    • Bildirimler derleyicisinin kullanıldığı bir deneme için, mesajı denemeye katılmayan kalan hedef kullanıcılara göndermek üzere Mesajın kullanıma sunulması iletişim kutusunu kullanın.
    • Remote Config denemesi için hangi Remote Config parametre değerlerinin güncelleneceğini belirlemek üzere bir varyant seçin. Deneme oluşturulurken tanımlanan hedefleme ölçütleri, kullanıma sunma işleminin yalnızca deneme tarafından hedeflenen kullanıcıları etkilemesini sağlamak için şablonunuza yeni bir koşul olarak eklenir. Değişiklikleri incelemek için Uzaktan Yapılandırmasında İncele'yi tıkladıktan sonra, kullanıma sunma işlemini tamamlamak için Değişiklikleri yayınla'yı tıklayın.
    • In-App Messaging denemesi için hangi varyantın bağımsız bir In-App Messaging kampanyası olarak kullanıma sunulması gerektiğini belirlemek üzere iletişim kutusunu kullanın. Seçim yapıldıktan sonra, yayınlamadan önce gerekli değişiklikleri (varsa) yapmak için FIAM oluşturma ekranına yönlendirilirsiniz.

Deneme genişletme

Bir denemenin, A/B Testingbir kazanan belirlemek için yeterli kullanıcı getirmediğini fark ederseniz uygulamanın kullanıcı tabanının daha büyük bir yüzdesine ulaşmak için denemenizin dağıtımını artırabilirsiniz.

  1. Firebase Console gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Düzenlemek istediğiniz çalışan denemeyi seçin.
  3. Denemeyle ilgili genel bakış bölümünde bağlam menüsünü () ve ardından Devam eden denemeyi düzenle'yi tıklayın.
  4. Hedefleme iletişim kutusunda, çalışan denemede yer alan kullanıcıların yüzdesini artırma seçeneği gösterilir. Mevcut yüzdeden yüksek bir sayı seçin ve Yayınla'yı tıklayın. Deneme, belirttiğiniz kullanıcı yüzdesine dağıtılır.

Deneme kopyalama veya durdurma

  1. Firebase Console gezinme menüsünün Etkileşim bölümünde A/B Testing simgesini tıklayın.
  2. Tamamlandı veya Çalışıyor'u tıklayın, işaretçiyi denemenizin üzerine getirin, bağlam menüsünü () ve ardından Denemeyi kopyala veya Denemeyi durdur'u tıklayın.

Kullanıcı hedefleme

Aşağıdaki kullanıcı hedefleme ölçütlerini kullanarak denemenize dahil edilecek kullanıcıları hedefleyebilirsiniz.

Hedefleme ölçütü Operatörler    Değerler Not
Sürüm içerir,
içermez,
tam olarak eşleşir,
normal ifade içerir
Denemeye dahil etmek istediğiniz bir veya daha fazla uygulama sürümü için bir değer girin.

İçerir, İçermez veya Tam olarak eşleşir operatörlerinden birini kullanırken virgülle ayrılmış bir değer listesi sağlayabilirsiniz.

normal ifade içeriyor operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizenin tamamını veya bir kısmını eşleştirebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ ankrajlarını da kullanabilirsiniz.

Kullanıcı kitleleri hepsini içerir,
en az birini içerir,
hepsini içermez,
en az birini içermez
Denemenize dahil edilebilecek kullanıcıları hedeflemek için bir veya daha fazla Analytics kitlesi seçin. Google Analytics kitlelerini hedefleyen bazı denemelerde, Analytics veri işleme gecikmesi olduğundan verilerin toplanması birkaç gün sürebilir. Bu gecikmeyi büyük olasılıkla, genellikle oluşturulduktan 24-48 saat sonra uygun kitlelere kaydedilen yeni kullanıcılarda veya yeni oluşturulan kitlelerde görürsünüz.
Kullanıcı özelliği Metin için:
şunu içerir,
şunu içermez,
tam olarak eşleşir,
şunu içerir: normal ifade

Sayılar için:
<, ≤, =, ≥, >
Analytics kullanıcı özelliği, bir denemeye dahil edilebilecek kullanıcıları seçmek için kullanılır. Bu özellik, kullanıcı özelliği değerlerini seçmeyle ilgili çeşitli seçenekler sunar.

İstemcide, kullanıcı özellikleri için yalnızca dize değerleri ayarlayabilirsiniz. Sayısal operatörlerin kullanıldığı koşullarda Remote Config hizmeti, ilgili kullanıcı özelliğinin değerini tam sayı/kayan noktaya dönüştürür.
normal ifade içeriyor operatörünü kullanırken RE2 biçiminde normal ifadeler oluşturabilirsiniz. Normal ifadeniz, hedef sürüm dizenin tamamını veya bir kısmını eşleştirebilir. Hedef dizenin başlangıcını, sonunu veya tamamını eşleştirmek için ^ ve $ ankrajlarını da kullanabilirsiniz.
Ülke/Bölge Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla ülke veya bölge.  
Diller Yok Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar.  
İlk açılış Daha fazla
Daha az
Arasında
Kullanıcıları, uygulamanızı ilk açtıkları tarihe göre (gün cinsinden) hedefleyin.
Son uygulama etkileşimi Daha fazla
Daha az
Arasında
Kullanıcıları, uygulamanızla etkileşime geçtikleri son tarihe göre hedefleyin. Bu tarih gün olarak belirtilir.

A/B Testing metrik

Denemenizi oluştururken, kazanan varyantı belirlemek için kullanılan bir birincil veya hedef metriği seçersiniz. Her deneme varyantının performansını daha iyi anlamanıza ve kullanıcıları elde tutma, uygulama kararlılığı ve uygulama içi satın alma geliri gibi her varyant için farklı olabilecek önemli trendleri izlemenize yardımcı olması için diğer metrikleri de izlemeniz gerekir. Denemenizde hedef olmayan en fazla beş metriği izleyebilirsiniz.

Örneğin, uygulamanıza yeni uygulama içi satın alma işlemleri eklediğinizi ve iki farklı "teşvik" mesajının etkinliğini karşılaştırmak istediğinizi varsayalım. Bu durumda, kazanan varyantın en yüksek uygulama içi satın alma gelirine yol açan bildirimi temsil etmesini istediğiniz için hedef metrik olarak Satın alma geliri'ni ayarlamaya karar verebilirsiniz. Ayrıca, hangi varyantın gelecekte daha fazla dönüşüm ve elde tutulan kullanıcıyla sonuçlandığını izlemek istediğiniz için İzlenecek diğer metrikler bölümüne aşağıdakileri ekleyebilirsiniz:

  • Uygulama içi satın alma ve reklam gelirinizin iki varyant arasında nasıl farklılık gösterdiğini görmek için Tahmini toplam gelir
  • Günlük/haftalık kullanıcı elde tutma oranınızı izlemek için Elde tutma (1 gün), Elde tutma (2-3 gün), Elde tutma (4-7 gün)

Aşağıdaki tablolarda, hedef metriklerinin ve diğer metriklerin nasıl hesaplandığıyla ilgili ayrıntılı bilgi verilmektedir.

Hedef metrikleri

Metrik Açıklama
Kilitlenme sorunu yaşamayan kullanıcılar Uygulamanızda deneme sırasında Firebase Crashlytics SDK'sı tarafından algılanan hatalarla karşılaşmayan kullanıcıların yüzdesi.
Tahmini reklam geliri Tahmini reklam kazançları.
Tahmini toplam gelir Satın alma ve tahmini reklam gelirleri için birleştirilmiş değer.
Satın alma geliri Tüm purchase ve in_app_purchase etkinlikleri için birleşik değer.
Elde tutma (1 gün) Günlük olarak uygulamanıza geri gelen kullanıcıların sayısı.
Elde tutma (2-3 gün) 2-3 gün içinde uygulamanıza geri gelen kullanıcıların sayısı.
Elde tutma (4-7 gün) 4-7 gün içinde uygulamanıza geri dönen kullanıcıların sayısı.
Elde tutma (8-14 gün) 8-14 gün içinde uygulamanıza geri gelen kullanıcıların sayısı.
Elde tutma (en az 15 gün) Uygulamanızı en son kullandıktan 15 gün veya daha uzun bir süre sonra uygulamanıza geri gelen kullanıcıların sayısı.
first_open Kullanıcı bir uygulamayı yükledikten veya yeniden yükledikten sonra ilk kez açtığında tetiklenen bir Analytics etkinliği. Dönüşüm hunisinin bir parçası olarak kullanılır.

Diğer metrikler

Metrik Açıklama
notification_dismiss Bildirim Oluşturucu tarafından gönderilen bir bildirim kapatıldığında tetiklenen Analytics etkinliği (yalnızca Android).
notification_receive Uygulama arka plandayken Bildirimler derleyicisi tarafından gönderilen bir bildirim alındığında tetiklenen bir Analytics etkinliği (yalnızca Android).
os_update Cihazın işletim sisteminin yeni bir sürüme güncellendiğini izleyen bir Analytics etkinliği. Daha fazla bilgi için Otomatik olarak toplanan etkinlikler başlıklı makaleyi inceleyin.
screen_view Uygulamanızda görüntülenen ekranları izleyen bir Analytics etkinliği. Daha fazla bilgi edinmek için Ekran görüntülemelerini izleme başlıklı makaleyi inceleyin.
session_start Uygulamanızdaki kullanıcı oturumlarını sayan bir Analytics etkinliği. Daha fazla bilgi için Otomatik olarak toplanan etkinlikler bölümüne bakın.

BigQuery verilerini dışa aktarma

A/B Testing deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testing'nin ayrı bir BigQuery tablosu olmasa da deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" biçimindedir. Burada 01, deneme kimliğidir ve userProperty.value.string_value, deneme varyantının (sıfır tabanlı) dizinini içerir.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu sayede deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testing sonuçlarını bağımsız olarak doğrulayabilirsiniz.

Başlamak için bu kılavuzda açıklandığı şekilde aşağıdakileri tamamlayın:

  1. Firebase konsolunda Google Analytics için BigQuery dışa aktarma özelliğini etkinleştirin.
  2. BigQuery kullanarak A/B Testing verilerine erişme
  3. Örnek sorguları keşfetme

Firebase konsolunda Google Analytics için BigQuery dışa aktarmayı etkinleştirin

Spark planını kullanıyorsanız korumalı alan sınırlamalarına tabi olmak kaydıyla BigQuery'a ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanı başlıklı makaleyi inceleyin.

Öncelikle Analytics verilerinizi BigQuery hedefine aktardığınızdan emin olun:

  1. Firebase konsolunda > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
  2. BigQuery ürününü diğer Firebase hizmetleriyle zaten kullanıyorsanız Yönet'i tıklayın. Aksi takdirde Bağla'yı tıklayın.
  3. Firebase'i BigQuery'e Bağlama Hakkında bölümünü inceleyin, ardından Sonraki'yi tıklayın.
  4. Entegrasyonu yapılandır bölümünde Google Analytics açma/kapatma düğmesini etkinleştirin.
  5. Bir bölge seçin ve dışa aktarma ayarlarını belirleyin.

  6. BigQuery'ye bağla'yı tıklayın.

Verileri dışa aktarma şeklinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery alanına dışa aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery alanına aktarma başlıklı makaleyi inceleyin.

BigQuery'da A/B Testing verilerine erişme

Belirli bir denemeyle ilgili verileri sorgulamadan önce, sorgunuzda kullanmak için aşağıdakilerden bazılarını veya tümünü elde etmeniz gerekir:

  • Deneme kimliği: Bu kimliği, Deneme genel bakış sayfasının URL'sinden edinebilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir.
  • Google Analytics mülk kimliği: 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics içinde bulabilirsiniz. Proje adınızı, Google Analytics etkinlik tablonuzun (project_name.analytics_000000000.events) adını gösterecek şekilde genişlettiğinizde de BigQuery dilinde görünür.
  • Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (YYYYMMDD son ekiyle tanımlanan tablolar) sınırlandırmanız önerilir. Dolayısıyla, denemeniz 2 Şubat 2024 ile 2 Mayıs 2024 arasında çalıştıysa _TABLE_SUFFIX between '20240202' AND '20240502' belirtirsiniz. Bir örnek için Belirli bir denemenin değerlerini seçme bölümüne bakın.
  • Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.
başlıklı makaleyi inceleyin.

Sorgunuzu oluşturmak için ihtiyacınız olan bilgileri topladıktan sonra:

  1. Google Cloud konsolunda BigQuery'u açın.
  2. Projenizi seçin, ardından SQL sorgusu oluştur'u seçin.
  3. Sorgunuzu ekleyin. Çalıştırılabilecek örnek sorgular için Örnek sorguları keşfetme bölümüne bakın.
  4. Çalıştır'ı tıklayın.

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulayın

Blaze planını kullanıyorsanız Denemelere genel bakış sayfasında, görüntülediğiniz denemenin adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren bir örnek sorgu sağlanır.

Otomatik olarak oluşturulan sorguyu almak ve çalıştırmak için:

  1. Firebase konsolunda A/B Testing sayfasını açın ve sorgulamak istediğiniz A/B Testing denemesini seçerek Denemeye genel bakış'ı açın.
  2. Seçenekler menüsünde, BigQuery entegrasyonu altında Deneme verilerini sorgulayın'ı seçin. Bu işlem, projenizi Google Cloud konsolunda BigQueryaçar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnekte, "Kış karşılama denemesi" adlı üç varyantı (referans değer dahil) olan bir deneme için oluşturulan bir sorgu gösterilmektedir. Etkin deneme adını, varyant adını, benzersiz etkinliği ve her etkinlik için etkinlik sayısını döndürür. Sorgu oluşturucu doğrudan projenizde açıldığı için tablo adında proje adınızı belirtmez.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Başka sorgu örnekleri için Örnek sorguları keşfetme bölümüne gidin.

Keşfedin örneği sorguları

Aşağıdaki bölümlerde, Google Analytics etkinlik tablosundan A/B Testing deneme verilerini ayıklamak için kullanabileceğiniz sorgulara örnekler verilmiştir.

Tüm denemelerden satın alma ve deneme standart sapma değerlerini çıkarın

Firebase A/B Testing sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme varyantlarını ve her bir varyanttaki benzersiz kullanıcı sayısını çıkarır. Ayrıca, _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemelerin standart sapmaları ile in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve standart sapmaları toplar. Firebase'ın sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak için bu sorgudan elde ettiğiniz verileri tek kuyruklu t-testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testing'ün çıkarım hesaplama şekli hakkında daha fazla bilgi için Test sonuçlarını yorumlama başlıklı makaleyi inceleyin.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery ürününde belirli bir deneme için verilerin nasıl alınacağını gösterir. Bu örnek sorgu, deneme adını, varyant adlarını (Referans dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName