BigQuery ile A/B Testi verilerini inceleyin

A/B Testi deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testi'nin ayrı bir BigQuery tablosu bulunmamakla birlikte deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.

Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key = "firebase_exp_01" burada 01 , deneme kimliğidir ve userProperty.value.string_value , deneme kimliğinin (sıfır tabanlı) dizinini içerir. deneme varyantı.

Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu size deneme sonuçlarınızı birçok farklı şekilde dilimleme ve A/B Testinin sonuçlarını bağımsız olarak doğrulama gücü verir.

Başlamak için aşağıdakileri bu kılavuzda açıklandığı şekilde tamamlayın:

1. Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
2. BigQuery'yi kullanarak A/B Testi verilerine erişme
3. Örnek sorguları keşfedin

Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin

Spark planını kullanıyorsanız Sandbox sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanına bakın.

Öncelikle Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:

1. Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
2. BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi halde Bağlantı'yı tıklayın.
3. Firebase'i BigQuery'ye Bağlama Hakkında'yı inceleyin ve ardından İleri'yi tıklayın.
4. Entegrasyonu yapılandır bölümünde Google Analytics geçişini etkinleştirin.

5. Bir bölge seçin ve dışa aktarma ayarlarını seçin.

   Not: Firebase için Google Analytics ayarları hakkında daha fazla bilgi edinmek için Veri toplama bölümüne bakın.

6. BigQuery'ye Bağla'yı tıklayın.

Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma konusuna bakın.

BigQuery'de A/B Testi verilerine erişme

Belirli bir denemeye ilişkin verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tamamını elde etmek isteyeceksiniz:

• Deney Kimliği: Bunu Deneye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 gibi görünüyorsa deneme kimliği 25'tir .
• Google Analytics mülk kimliği : Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics'te bulabilirsiniz; proje adınızı Google Analytics etkinlik tablonuzun adını ( project_name.analytics_000000000.events ) gösterecek şekilde genişlettiğinizde BigQuery'de de görünür.
• Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle ( YYYYMMDD son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024'ten 2 Mayıs 2024'e kadar yürütüldüyse _TABLE_SUFFIX between '20240202' AND '20240502' belirtmeniz gerekir. Örnek için bkz. Belirli bir denemenin değerlerini seçme .
• Etkinlik adları: Genellikle bunlar, denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin, in_app_purchase etkinlikleri, ad_impression veya user_retention etkinlikleri.

İpucu: Blaze planını kullanıyorsanız Firebase, seçtiğiniz denemeye ilişkin deneme adını, varyantı, etkinlik adını ve etkinlik sayısını çıkarmak için örnek bir sorgu oluşturabilir. Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama bölümünden daha fazla bilgi edinin

Sorgunuzu oluşturmak için ihtiyaç duyduğunuz bilgileri topladıktan sonra:

1. BigQuery'yi Google Cloud konsolunda açın.
2. Projenizi seçin ve ardından SQL sorgusu oluştur öğesini seçin.
3. Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için bkz. Örnek sorguları keşfetme .
4. Çalıştıra tıkla .

İpucu: Bu adımlarda Google Cloud konsolunun kullanımı açıklansa da BigQuery'yi sorgulamak için CLI'yi veya istemci kitaplıklarını da kullanabilirsiniz. BigQuery belgelerinde daha fazla bilgi edinin.

Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama

Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülemekte olduğunuz denemeye ilişkin deneme adını, varyantları, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sağlar.

Otomatik olarak oluşturulan sorguyu edinmek ve çalıştırmak için:

1. Firebase konsolundan A/B Testini açın ve Denemeye genel bakışı açmak için sorgulamak istediğiniz A/B Testi denemesini seçin.
2. Seçenekler menüsünden BigQuery entegrasyonu altında Deneme verilerini sorgula'yı seçin. Bu, projenizi Google Cloud konsol konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.

Aşağıdaki örnek, "Kışı karşılama deneyi" adlı üç değişkeni (taban çizgisi dahil) içeren bir deneme için oluşturulmuş bir sorguyu gösterir. Her bir etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun doğrudan projenizin içinde açıldığı için tablo adında proje adınızı belirtmediğini unutmayın.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Ek sorgu örnekleri için Örnek sorguları keşfetme bölümüne geçin.

Örnek sorguları keşfedin

Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini çıkarmak için kullanabileceğiniz sorgu örnekleri verilmektedir.

Tüm deneylerden satın alma ve deney standart sapma değerlerini çıkarın

Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme değişkenlerini, her bir değişkendeki benzersiz kullanıcı sayısını çıkarır ve in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX başlangıç ​​ve bitiş tarihleri ​​olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.

A/B Testinin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için bkz. Test sonuçlarını yorumlama .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Belirli bir denemenin değerlerini seçin

Aşağıdaki örnek sorgu, BigQuery'de belirli bir denemeye ilişkin verilerin nasıl elde edileceğini göstermektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Temel Çizgi dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName