BigQuery के साथ ए/बी परीक्षण डेटा का निरीक्षण करें

फायरबेस कंसोल में ए/बी परीक्षण प्रयोग डेटा देखने के अलावा, आप BigQuery में प्रयोग डेटा का निरीक्षण और विश्लेषण कर सकते हैं। जबकि A/B परीक्षण में एक अलग BigQuery तालिका नहीं है, प्रयोग और भिन्न सदस्यताएँ Analytics ईवेंट तालिकाओं के भीतर प्रत्येक Google Analytics ईवेंट पर संग्रहीत की जाती हैं।

जिन उपयोगकर्ता गुणों में प्रयोग की जानकारी होती है userProperty.key like "firebase_exp_%" या userProperty.key = "firebase_exp_01" के रूप में होते हैं, जहां 01 प्रयोग आईडी है, और userProperty.value.string_value में (शून्य-आधारित) सूचकांक होता है प्रयोग प्रकार.

आप प्रयोग डेटा निकालने के लिए इन प्रयोग उपयोगकर्ता गुणों का उपयोग कर सकते हैं। यह आपको अपने प्रयोग के परिणामों को कई अलग-अलग तरीकों से काटने और ए/बी परीक्षण के परिणामों को स्वतंत्र रूप से सत्यापित करने की शक्ति देता है।

आरंभ करने के लिए, इस गाइड में बताए अनुसार निम्नलिखित को पूरा करें:

फायरबेस कंसोल में Google Analytics के लिए BigQuery निर्यात सक्षम करें
BigQuery का उपयोग करके A/B परीक्षण डेटा तक पहुंचें
उदाहरण क्वेरीज़ का अन्वेषण करें

फायरबेस कंसोल में Google Analytics के लिए BigQuery निर्यात सक्षम करें

यदि आप स्पार्क योजना पर हैं, तो आप सैंडबॉक्स सीमाओं के अधीन बिना किसी लागत के BigQuery तक पहुंचने के लिए BigQuery सैंडबॉक्स का उपयोग कर सकते हैं। अधिक जानकारी के लिए मूल्य निर्धारण और BigQuery सैंडबॉक्स देखें।

सबसे पहले, सुनिश्चित करें कि आप अपना Analytics डेटा BigQuery पर निर्यात कर रहे हैं:

इंटीग्रेशन टैब खोलें, जिसे आप फायरबेस कंसोल में > प्रोजेक्ट सेटिंग्स का उपयोग करके एक्सेस कर सकते हैं।
यदि आप पहले से ही अन्य Firebase सेवाओं के साथ BigQuery का उपयोग कर रहे हैं, तो प्रबंधित करें पर क्लिक करें। अन्यथा, लिंक पर क्लिक करें.
Firebase को BigQuery से लिंक करने के बारे में समीक्षा करें, फिर Next पर क्लिक करें।
एकीकरण कॉन्फ़िगर करें अनुभाग में, Google Analytics टॉगल सक्षम करें।
एक क्षेत्र चुनें और निर्यात सेटिंग चुनें.
नोट: फायरबेस सेटिंग्स के लिए Google Analytics के बारे में अधिक जानकारी के लिए, डेटा संग्रह देखें।
BigQuery से लिंक पर क्लिक करें.

आपने डेटा निर्यात करने का तरीका कैसे चुना है, इसके आधार पर तालिकाएं उपलब्ध होने में एक दिन तक का समय लग सकता है। प्रोजेक्ट डेटा को BigQuery पर निर्यात करने के बारे में अधिक जानकारी के लिए, प्रोजेक्ट डेटा को BigQuery पर निर्यात करें देखें।

BigQuery में A/B परीक्षण डेटा तक पहुंचें

किसी विशिष्ट प्रयोग के लिए डेटा की क्वेरी करने से पहले, आप अपनी क्वेरी में उपयोग करने के लिए निम्नलिखित में से कुछ या सभी प्राप्त करना चाहेंगे:

प्रयोग आईडी: आप इसे प्रयोग अवलोकन पृष्ठ के यूआरएल से प्राप्त कर सकते हैं। उदाहरण के लिए, यदि आपका URL https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 जैसा दिखता है, तो प्रयोग आईडी 25 है।
Google Analytics प्रॉपर्टी आईडी : यह आपकी 9 अंकों वाली Google Analytics प्रॉपर्टी आईडी है। आप इसे Google Analytics में पा सकते हैं; यह BigQuery में भी दिखाई देता है जब आप अपनी Google Analytics ईवेंट तालिका ( project_name.analytics_000000000.events ) का नाम दिखाने के लिए अपने प्रोजेक्ट नाम का विस्तार करते हैं।
प्रयोग तिथि: तेज़ और अधिक कुशल क्वेरी बनाने के लिए, अपनी क्वेरी को Google Analytics दैनिक ईवेंट तालिका विभाजन तक सीमित करना अच्छा अभ्यास है जिसमें आपका प्रयोग डेटा शामिल होता है - YYYYMMDD प्रत्यय से पहचानी जाने वाली तालिकाएँ। इसलिए, यदि आपका प्रयोग 2 फरवरी, 2024 से 2 मई, 2024 तक चला, तो आप _TABLE_SUFFIX between '20240202' AND '20240502' निर्दिष्ट करेंगे। उदाहरण के लिए, किसी विशिष्ट प्रयोग के मान चुनें देखें.
ईवेंट नाम: आमतौर पर, ये आपके लक्ष्य मेट्रिक्स से मेल खाते हैं जिन्हें आपने प्रयोग में कॉन्फ़िगर किया था। उदाहरण के लिए, in_app_purchase इवेंट, ad_impression , या user_retention इवेंट।

जानकारी एकत्र करने के बाद आपको अपनी क्वेरी तैयार करनी होगी:

Google क्लाउड कंसोल में BigQuery खोलें।
अपना प्रोजेक्ट चुनें, फिर SQL क्वेरी बनाएँ चुनें।
अपनी क्वेरी जोड़ें. चलाने के लिए उदाहरण क्वेरीज़ के लिए, उदाहरण क्वेरीज़ एक्सप्लोर करें देखें।
चलाएँ पर क्लिक करें.

फायरबेस कंसोल की स्वत: जेनरेट की गई क्वेरी का उपयोग करके क्वेरी प्रयोग डेटा

यदि आप ब्लेज़ योजना का उपयोग कर रहे हैं, तो प्रयोग अवलोकन पृष्ठ एक नमूना क्वेरी प्रदान करता है जो प्रयोग का नाम, प्रकार, ईवेंट नाम और आपके द्वारा देखे जा रहे प्रयोग के लिए ईवेंट की संख्या लौटाता है।

स्वतः-जनित क्वेरी प्राप्त करने और चलाने के लिए:

फायरबेस कंसोल से, ए/बी परीक्षण खोलें और प्रयोग अवलोकन खोलने के लिए उस ए/बी परीक्षण प्रयोग का चयन करें जिसे आप क्वेरी करना चाहते हैं।
विकल्प मेनू से, BigQuery एकीकरण के नीचे, क्वेरी प्रयोग डेटा का चयन करें। यह आपके प्रोजेक्ट को Google क्लाउड कंसोल कंसोल के भीतर BigQuery में खोलता है और एक बुनियादी क्वेरी प्रदान करता है जिसका उपयोग आप अपने प्रयोग डेटा को क्वेरी करने के लिए कर सकते हैं।

निम्नलिखित उदाहरण "विंटर वेलकम एक्सपेरिमेंट" नाम के तीन प्रकारों (बेसलाइन सहित) वाले एक प्रयोग के लिए जेनरेट की गई क्वेरी दिखाता है। यह प्रत्येक ईवेंट के लिए सक्रिय प्रयोग का नाम, प्रकार का नाम, अद्वितीय ईवेंट और ईवेंट गणना लौटाता है। ध्यान दें कि क्वेरी बिल्डर तालिका नाम में आपके प्रोजेक्ट का नाम निर्दिष्ट नहीं करता है, क्योंकि यह सीधे आपके प्रोजेक्ट में खुलता है।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

अतिरिक्त क्वेरी उदाहरणों के लिए, उदाहरण क्वेरीज़ एक्सप्लोर करने के लिए आगे बढ़ें।

उदाहरण क्वेरीज़ का अन्वेषण करें

निम्नलिखित अनुभाग उन क्वेरी के उदाहरण प्रदान करते हैं जिनका उपयोग आप Google Analytics ईवेंट तालिकाओं से ए/बी परीक्षण प्रयोग डेटा निकालने के लिए कर सकते हैं।

सभी प्रयोगों से खरीद और प्रयोग मानक विचलन मान निकालें

आप फायरबेस ए/बी परीक्षण परिणामों को स्वतंत्र रूप से सत्यापित करने के लिए प्रयोग परिणाम डेटा का उपयोग कर सकते हैं। निम्नलिखित BigQuery SQL कथन प्रयोग वेरिएंट, प्रत्येक वेरिएंट में अद्वितीय उपयोगकर्ताओं की संख्या, और in_app_purchase और ecommerce_purchase ईवेंट से कुल राजस्व, और _TABLE_SUFFIX प्रारंभ और समाप्ति तिथियों के रूप में निर्दिष्ट समय सीमा के भीतर सभी प्रयोगों के लिए मानक विचलन का योग निकालता है। आप इस क्वेरी से प्राप्त डेटा का उपयोग एक-पूंछ वाले टी-परीक्षणों के लिए सांख्यिकीय महत्व जनरेटर के साथ यह सत्यापित करने के लिए कर सकते हैं कि फायरबेस द्वारा प्रदान किए गए परिणाम आपके अपने विश्लेषण से मेल खाते हैं।

ए/बी परीक्षण अनुमान की गणना कैसे करता है, इसके बारे में अधिक जानकारी के लिए, परीक्षण परिणामों की व्याख्या करें देखें।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

किसी विशिष्ट प्रयोग के मान चुनें

निम्नलिखित उदाहरण क्वेरी दर्शाती है कि BigQuery में किसी विशिष्ट प्रयोग के लिए डेटा कैसे प्राप्त किया जाए। यह नमूना क्वेरी प्रयोग नाम, भिन्न नाम (बेसलाइन सहित), ईवेंट नाम और ईवेंट गणना लौटाती है।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName