حول اختبارات Firebase A / B

لمساعدتك على تحقيق أقصى قدر من الملاءمة والفائدة لنتائج الاختبار الخاصة بك، توفر هذه الصفحة معلومات مفصلة حول كيفية عمل اختبار Firebase A/B.

حجم العينة

لا يتطلب استنتاج اختبار Firebase A/B تحديد الحد الأدنى لحجم العينة قبل بدء التجربة. بشكل عام، يجب عليك اختيار أكبر مستوى تعرض للتجربة الذي تشعر بالارتياح تجاهه. تزيد أحجام العينات الأكبر من فرص العثور على نتيجة ذات دلالة إحصائية، خاصة عندما تكون فروق الأداء بين المتغيرات صغيرة. قد تجد أيضًا أنه من المفيد استشارة حاسبة حجم العينة عبر الإنترنت للعثور على حجم العينة الموصى به بناءً على خصائص تجربتك.

تحرير التجارب

يمكنك تعديل المعلمات المحددة للتجارب الجارية، بما في ذلك:

  • اسم التجربة
  • وصف
  • شروط الاستهداف
  • القيم المتغيرة

لتحرير تجربة:

  1. افتح صفحة النتائج الخاصة بالتجربة التي تريد تعديلها.
  2. من قائمة المزيد ، حدد تحرير التجربة الجارية .
  3. قم بإجراء التغييرات، ثم انقر فوق نشر .

لاحظ أن تغيير سلوك التطبيق أثناء التجربة الجارية قد يؤثر على النتائج.

منطق تعيين متغير التكوين عن بعد

يتم تعيين المستخدمين الذين يطابقون جميع شروط استهداف التجربة (بما في ذلك شرط النسبة المئوية للتعرض) لمتغيرات التجربة وفقًا لأوزان المتغيرات وتجزئة معرف التجربة ومعرف تثبيت Firebase الخاص بالمستخدم.

تخضع جماهير Google Analytics لوقت الاستجابة ولا تكون متاحة على الفور عندما يستوفي المستخدم معايير الجمهور في البداية:

  • عند إنشاء جمهور جديد، قد يستغرق الأمر من 24 إلى 48 ساعة لتجميع مستخدمين جدد.
  • عادةً ما يتم تسجيل المستخدمين الجدد في الجماهير المؤهلة بعد 24 إلى 48 ساعة من أن يصبحوا مؤهلين.

بالنسبة للاستهداف الحساس للوقت، فكر في استخدام خصائص مستخدم Google Analytics أو خيارات الاستهداف المضمنة مثل البلد أو المنطقة، واللغة، وإصدار التطبيق.

بمجرد دخول المستخدم إلى التجربة، يتم تعيينه باستمرار لمتغير التجربة الخاص به ويتلقى قيم المعلمات من التجربة طالما ظلت التجربة نشطة، حتى إذا تغيرت خصائص المستخدم الخاصة به ولم يعد يستوفي معايير استهداف التجربة.

أحداث التنشيط

تقصر أحداث تنشيط التجربة قياس التجربة على مستخدمي التطبيق الذين يقومون بتشغيل حدث التنشيط. ليس لحدث تنشيط التجربة أي تأثير على معلمات التجربة التي يجلبها التطبيق؛ سيحصل جميع المستخدمين الذين يستوفون معايير استهداف التجربة على معلمات التجربة. وبالتالي، من المهم اختيار حدث التنشيط الذي يحدث بعد جلب معلمات التجربة وتنشيطها، ولكن قبل استخدام معلمات التجربة لتعديل سلوك التطبيق.

الأوزان المختلفة

أثناء إنشاء التجربة، من الممكن تغيير أوزان المتغير الافتراضي لوضع نسبة أكبر من مستخدمي التجربة في متغير.

تفسير نتائج الاختبار

يستخدم اختبار Firebase A/B الاستدلال المتكرر لمساعدتك في فهم احتمالية حدوث نتائج تجربتك فقط بسبب الصدفة العشوائية. يتم تمثيل هذا الاحتمال بقيمة الاحتمالية أو القيمة p . القيمة p هي احتمال حدوث اختلاف في الأداء بين متغيرين بسبب فرصة عشوائية، ويتم قياسها بقيمة تتراوح بين 0 و1. يستخدم اختبار A/B مستوى دلالة قدره 0.05 بحيث:

  • تشير القيمة p الأقل من 0.05 إلى وجود فرق ذي دلالة إحصائية بين المتغيرات، مما يعني أنه من غير المحتمل أن يحدث ذلك عن طريق الصدفة العشوائية.
  • تشير القيمة p الأكبر من 0.05 إلى أن الفرق بين المتغيرات ليس ذا دلالة إحصائية.

يتم تحديث بيانات التجربة مرة واحدة يوميًا، ويظهر وقت التحديث الأخير أعلى صفحة نتائج التجربة.

يعرض الرسم البياني لنتائج التجربة قيم المتوسط ​​التراكمي للمقياس المحدد. على سبيل المثال، إذا كنت تتتبع إيرادات الإعلانات لكل مستخدم كمقياس، فإنها تعرض الإيرادات الملحوظة لكل مستخدم وإذا كنت تتتبع المستخدمين الذين لم يتعطلوا، فإنه يتتبع النسبة المئوية للمستخدمين الذين لم يواجهوا أي عطل. هذه البيانات تراكمية من بداية التجربة.

يتم تقسيم النتائج إلى بيانات ملحوظة وبيانات استدلالية . يتم حساب البيانات المرصودة مباشرةً من بيانات Google Analytics، وتوفر بيانات الاستدلال قيمًا p وفترات ثقة لمساعدتك في تقييم الأهمية الإحصائية للبيانات المرصودة.

لكل مقياس، يتم عرض الإحصائيات التالية:

البيانات المرصودة

  • إجمالي قيمة المقياس الذي تم تتبعه (عدد المستخدمين المحتفظ بهم، وعدد المستخدمين الذين تعطلوا، وإجمالي الإيرادات)
  • معدل خاص بالمقياس (معدل الاحتفاظ، معدل التحويل، الإيرادات لكل مستخدم)
  • فرق النسبة المئوية (الرفع) بين المتغير وخط الأساس

بيانات الاستدلال

  • يعرض 95% CI (الفرق في الوسائل) فاصلًا زمنيًا يحتوي على القيمة "الحقيقية" للمقياس المتعقب بثقة تبلغ 95%. على سبيل المثال، إذا أدت تجربتك إلى فترة ثقة بنسبة 95% لإجمالي الإيرادات المقدرة بين 5 دولارات و10 دولارات، فهناك احتمال بنسبة 95% أن يكون الفرق الحقيقي في المتوسط ​​بين 5 دولارات و10 دولارات. إذا كان نطاق CI يتضمن 0، فلن يتم اكتشاف فرق ذي دلالة إحصائية بين المتغير وخط الأساس.

    تظهر قيم الفاصل الزمني للثقة بالتنسيق الذي يطابق المقياس المتعقب. على سبيل المثال، الوقت ( HH:MM:SS ) للاحتفاظ بالمستخدمين، والدولار الأمريكي لعائدات الإعلانات لكل مستخدم، والنسبة المئوية لمعدل التحويل.

  • القيمة P ، التي تمثل احتمال عدم وجود فرق حقيقي بين المتغير وخط الأساس؛ وبعبارة أخرى، فإن أي اختلاف ملحوظ من المحتمل أن يكون نتيجة للصدفة العشوائية. كلما انخفضت القيمة الاحتمالية، زادت الثقة في أن الأداء المرصود يظل صحيحًا في المستقبل. تشير القيمة 0.05 أو أقل إلى وجود اختلاف كبير واحتمال ضعيف بأن النتائج كانت نتيجة للصدفة. تعتمد القيم P على اختبار أحادي الطرف ، حيث تكون قيمة المتغير أكبر من قيمة خط الأساس. يستخدم Firebase اختبار t للتباين غير المتكافئ للمتغيرات المستمرة (القيم الرقمية، مثل الإيرادات) واختبار z للنسب لبيانات التحويل (القيم الثنائية، مثل الاحتفاظ بالمستخدمين، والمستخدمين الذين لا يعانون من أعطال، والمستخدمين الذين يقومون بتشغيل حدث Google Analytics).

توفر نتائج التجربة رؤى مهمة لكل متغير من أشكال التجربة، بما في ذلك:

  • ما مدى ارتفاع أو انخفاض كل مقياس تجربة مقارنة بخط الأساس، كما تم قياسه بشكل مباشر (أي البيانات المرصودة الفعلية)
  • احتمالية حدوث الفرق الملحوظ بين المتغير وخط الأساس بسبب الصدفة العشوائية (القيمة p)
  • نطاق من المحتمل أن يحتوي على فرق الأداء "الحقيقي" بين المتغير والخط الأساسي لكل مقياس تجربة --- طريقة لفهم سيناريوهات الأداء "أفضل حالة" و"أسوأ حالة"

تفسير نتائج التجارب التي يدعمها Google Optimize

تم دعم نتائج اختبار Firebase A/B للتجارب التي بدأت قبل 23 تشرين الأول (أكتوبر) 2023 بواسطة Google Optimize. استخدم Google Optimize الاستدلال الافتراضي لتوليد إحصائيات مفيدة من بيانات تجربتك.

يتم تقسيم النتائج إلى "بيانات ملحوظة" و"بيانات نموذجية". تم حساب البيانات المرصودة مباشرة من بيانات التحليلات، وتم استخلاص البيانات النموذجية من تطبيق نموذج بايزي الخاص بنا على البيانات المرصودة.

لكل مقياس، يتم عرض الإحصائيات التالية:

البيانات المرصودة

  • القيمة الإجمالية (مجموع المقياس لجميع المستخدمين في المتغير)
  • متوسط ​​القيمة (متوسط ​​قيمة المقياس للمستخدمين في المتغير)
  • ٪ الفرق من خط الأساس

البيانات النموذجية

  • احتمالية تجاوز خط الأساس: ما مدى احتمالية أن يكون المقياس أعلى لهذا المتغير مقارنة بخط الأساس
  • اختلاف النسبة المئوية عن خط الأساس: استنادًا إلى تقديرات النموذج المتوسط ​​للمقياس للمتغير وخط الأساس
  • النطاقات المترية: النطاقات التي من المرجح أن يتم العثور على قيمة المقياس فيها، بنسبة يقين 50% و95%

بشكل عام، تعطينا نتائج التجربة ثلاث رؤى مهمة لكل متغير في التجربة:

  1. ما مدى ارتفاع أو انخفاض كل مقياس تجربة مقارنةً بخط الأساس، كما تم قياسه بشكل مباشر (أي البيانات الفعلية المرصودة)
  2. ما مدى احتمالية أن يكون كل مقياس تجربة أعلى من خط الأساس/الأفضل بشكل عام، بناءً على الاستدلال البايزي (احتمال أن يكون أفضل/الأفضل على التوالي)
  3. النطاقات المعقولة لكل مقياس تجربة استنادًا إلى الاستدلال البايزي - سيناريوهات "أفضل حالة" و"أسوأ حالة" (فترات زمنية موثوقة)

تحديد القائد

بالنسبة للتجارب التي تستخدم الاستدلال المتكرر ، يعلن Firebase أن أحد المتغيرات يتقدم إذا كان هناك فرق أداء ذو ​​دلالة إحصائية بين المتغير وخط الأساس في مقياس الهدف. إذا كانت المتغيرات المتعددة تستوفي هذه المعايير، فسيتم اختيار المتغير ذو القيمة p الأقل.

بالنسبة للتجارب التي استخدمت Google Optimize ، أعلن Firebase أن المتغير هو "قائد واضح" إذا كان لديه فرصة أكبر من 95% ليكون أفضل من المتغير الأساسي في المقياس الأساسي. إذا استوفت متغيرات متعددة معايير "القائد الواضح"، فسيتم تصنيف الخيار الأفضل أداءً بشكل عام على أنه "القائد الواضح".

نظرًا لأن تحديد القائد يعتمد على الهدف الأساسي فقط، فيجب عليك مراعاة جميع العوامل ذات الصلة ومراجعة نتائج المقاييس الثانوية قبل اتخاذ قرار بشأن طرح متغير رائد أم لا. قد ترغب في النظر في الاتجاه الصعودي المتوقع لإجراء التغيير، ومخاطر الجانب السلبي (مثل الحد الأدنى لفترة الثقة للتحسين)، والتأثير على المقاييس الأخرى غير الهدف الأساسي.

على سبيل المثال، إذا كان المقياس الأساسي الخاص بك هو مستخدمون خاليون من الأعطال، وكان البديل أ يتقدم بشكل واضح على الخط الأساسي، ولكن مقاييس الاحتفاظ بالمستخدم في البديل أ تتبع الاحتفاظ بالمستخدمين الأساسيين، فقد تحتاج إلى إجراء المزيد من التحقيق قبل طرح البديل أ على نطاق أوسع.

يمكنك طرح أي متغير، وليس مجرد متغير رائد، استنادًا إلى تقييمك العام للأداء عبر المقاييس الأساسية والثانوية.

مدة التجربة

يوصي Firebase بمواصلة تشغيل التجربة حتى يتم استيفاء الشروط التالية:

  1. لقد جمعت التجربة بيانات كافية لتقديم نتيجة مفيدة. يتم تحديث التجارب وبيانات النتائج مرة واحدة يوميا. قد ترغب في استشارة آلة حاسبة لحجم العينة عبر الإنترنت لتقييم حجم العينة الموصى به لتجربتك.
  2. تم تنفيذ التجربة لفترة كافية لضمان عينة تمثيلية من المستخدمين وقياس الأداء على المدى الطويل. أسبوعان هو الحد الأدنى الموصى به لوقت التشغيل لتجربة نموذجية للتكوين عن بعد.

تتم معالجة بيانات التجربة لمدة أقصاها 90 يومًا بعد بدء التجربة. وبعد 90 يومًا، سيتم إيقاف التجربة تلقائيًا. لم يعد يتم تحديث نتائج التجربة في وحدة تحكم Firebase وتتوقف التجربة عن إرسال قيم المعلمات الخاصة بالتجربة. عند هذه النقطة، يبدأ العملاء في جلب قيم المعلمات بناءً على الشروط المحددة في قالب التكوين عن بعد. يتم الاحتفاظ ببيانات التجربة التاريخية حتى تقوم بحذف التجربة.

مخطط BigQuery

بالإضافة إلى عرض بيانات تجربة اختبار A/B في وحدة تحكم Firebase، يمكنك فحص بيانات التجربة وتحليلها في BigQuery. على الرغم من أن اختبار A/B لا يحتوي على جدول BigQuery منفصل، إلا أنه يتم تخزين عضويات التجربة والمتغيرات في كل حدث Google Analytics ضمن جداول أحداث Analytics.

خصائص المستخدم التي تحتوي على معلومات التجربة هي بالصيغة userProperty.key like "firebase_exp_%" أو userProperty.key = "firebase_exp_01" حيث يكون 01 هو معرف التجربة، ويحتوي userProperty.value.string_value على الفهرس (المستند إلى الصفر) لـ متغير التجربة.

يمكنك استخدام خصائص مستخدم التجربة هذه لاستخراج بيانات التجربة. يمنحك هذا القدرة على تقسيم نتائج تجربتك بعدة طرق مختلفة والتحقق بشكل مستقل من نتائج اختبار A/B.

للبدء، أكمل ما يلي كما هو موضح في هذا الدليل:

  1. تمكين تصدير BigQuery لبرنامج Google Analytics في وحدة تحكم Firebase
  2. الوصول إلى بيانات اختبار A/B باستخدام BigQuery
  3. استكشاف أمثلة الاستعلامات

تمكين تصدير BigQuery لبرنامج Google Analytics في وحدة تحكم Firebase

إذا كنت مشتركًا في خطة Spark، فيمكنك استخدام وضع الحماية BigQuery للوصول إلى BigQuery دون أي تكلفة، مع مراعاة حدود وضع الحماية . راجع التسعير ووضع الحماية BigQuery لمزيد من المعلومات.

أولاً، تأكد من أنك تقوم بتصدير بيانات Analytics إلى BigQuery:

  1. افتح علامة التبويب عمليات التكامل ، والتي يمكنك الوصول إليها باستخدام > إعدادات المشروع في وحدة تحكم Firebase .
  2. إذا كنت تستخدم BigQuery بالفعل مع خدمات Firebase الأخرى، فانقر على "إدارة" . بخلاف ذلك، انقر فوق "ارتباط" .
  3. قم بمراجعة حول ربط Firebase بـ BigQuery ، ثم انقر فوق "التالي" .
  4. في قسم تكوين التكامل ، قم بتمكين تبديل Google Analytics .
  5. حدد المنطقة واختر إعدادات التصدير.

  6. انقر على الرابط إلى BigQuery .

اعتمادًا على الطريقة التي اخترتها لتصدير البيانات، قد يستغرق الأمر ما يصل إلى يوم حتى تصبح الجداول متاحة. لمزيد من المعلومات حول تصدير بيانات المشروع إلى BigQuery، راجع تصدير بيانات المشروع إلى BigQuery .

الوصول إلى بيانات اختبار A/B في BigQuery

قبل الاستعلام عن بيانات لتجربة معينة، ستحتاج إلى الحصول على بعض أو كل ما يلي لاستخدامه في استعلامك:

  • معرف التجربة: يمكنك الحصول عليه من عنوان URL لصفحة نظرة عامة على التجربة . على سبيل المثال، إذا كان عنوان URL الخاص بك يشبه https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 ، فإن معرف التجربة هو 25 .
  • معرف خاصية Google Analytics : هذا هو معرف خاصية Google Analytics المكون من 9 أرقام. يمكنك العثور على هذا في Google Analytics؛ ويظهر أيضًا في BigQuery عند توسيع اسم مشروعك لإظهار اسم جدول أحداث Google Analytics ( project_name.analytics_000000000.events ).
  • تاريخ التجربة: لإنشاء استعلام أسرع وأكثر كفاءة، من الممارسات الجيدة قصر طلبات البحث على أقسام جدول الأحداث اليومية في Google Analytics التي تحتوي على بيانات تجربتك، وهي الجداول المحددة بلاحقة YYYYMMDD . لذا، إذا تم تنفيذ تجربتك من 2 فبراير 2024 إلى 2 مايو 2024، فيجب عليك تحديد _TABLE_SUFFIX between '20240202' AND '20240502' . على سبيل المثال، راجع تحديد قيم تجربة معينة .
  • أسماء الأحداث: تتوافق عادةً مع مقاييس الهدف التي قمت بتكوينها في التجربة. على سبيل المثال، أحداث in_app_purchase ، أو ad_impression ، أو أحداث user_retention .

بعد جمع المعلومات التي تحتاجها لإنشاء الاستعلام الخاص بك:

  1. افتح BigQuery في وحدة تحكم Google Cloud.
  2. حدد مشروعك، ثم حدد إنشاء استعلام SQL .
  3. أضف استفسارك. للحصول على أمثلة للاستعلامات المطلوب تشغيلها، راجع استكشاف نماذج الاستعلامات .
  4. انقر فوق تشغيل .

الاستعلام عن بيانات التجربة باستخدام الاستعلام الذي تم إنشاؤه تلقائيًا في وحدة تحكم Firebase

إذا كنت تستخدم خطة Blaze، فإن صفحة النظرة العامة على التجربة توفر نموذج استعلام يُرجع اسم التجربة والمتغيرات وأسماء الأحداث وعدد أحداث التجربة التي تعرضها.

للحصول على الاستعلام الذي تم إنشاؤه تلقائيًا وتشغيله:

  1. من وحدة تحكم Firebase، افتح اختبار A/B وحدد تجربة اختبار A/B التي تريد الاستعلام عنها لفتح نظرة عامة على التجربة .
  2. من قائمة الخيارات، أسفل تكامل BigQuery ، حدد الاستعلام عن بيانات التجربة . يؤدي هذا إلى فتح مشروعك في BigQuery داخل وحدة تحكم Google Cloud ويوفر استعلامًا أساسيًا يمكنك استخدامه للاستعلام عن بيانات تجربتك.

يعرض المثال التالي استعلامًا تم إنشاؤه لتجربة تحتوي على ثلاثة متغيرات (بما في ذلك الأساس) تسمى "تجربة الترحيب بالشتاء". تقوم بإرجاع اسم التجربة النشطة واسم المتغير والحدث الفريد وعدد الأحداث لكل حدث. لاحظ أن منشئ الاستعلام لا يحدد اسم مشروعك في اسم الجدول، لأنه يفتح مباشرة داخل مشروعك.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

للحصول على أمثلة استعلام إضافية، تابع إلى استكشاف نماذج الاستعلامات .

استكشاف أمثلة الاستعلامات

توفر الأقسام التالية أمثلة على طلبات البحث التي يمكنك استخدامها لاستخراج بيانات تجربة اختبار A/B من جداول أحداث Google Analytics.

استخراج قيم الانحراف المعياري للشراء والتجربة من جميع التجارب

يمكنك استخدام بيانات نتائج التجربة للتحقق بشكل مستقل من نتائج اختبار Firebase A/B. تستخرج عبارة BigQuery SQL التالية متغيرات التجربة، وعدد المستخدمين الفريدين في كل متغير، وتجمع إجمالي الإيرادات من أحداث in_app_purchase و ecommerce_purchase ، والانحرافات المعيارية لجميع التجارب ضمن النطاق الزمني المحدد كتاريخي البدء والانتهاء _TABLE_SUFFIX . يمكنك استخدام البيانات التي تحصل عليها من هذا الاستعلام مع منشئ الأهمية الإحصائية لاختبارات t أحادية الطرف للتحقق من أن النتائج التي يقدمها Firebase تتطابق مع التحليل الخاص بك.

لمزيد من المعلومات حول كيفية قيام اختبار A/B بحساب الاستدلال، راجع تفسير نتائج الاختبار .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

حدد قيم تجربة محددة

يوضح نموذج الاستعلام التالي كيفية الحصول على بيانات لتجربة معينة في BigQuery. يعرض نموذج الاستعلام هذا اسم التجربة، وأسماء المتغيرات (بما في ذلك خط الأساس)، وأسماء الأحداث، وأعداد الأحداث.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

حدود

يقتصر اختبار A/B على 300 تجربة إجمالية، و24 تجربة جارية، و24 تجربة مسودة.

  • إذا وصلت إلى الحد الإجمالي للتجربة وهو 300 أو الحد الأقصى للتجربة وهو 24 مسودة، فيجب عليك حذف تجربة موجودة قبل إنشاء تجربة جديدة.

  • إذا وصلت إلى الحد الأقصى للتجربة الجارية وهو 24 تجربة، فيجب عليك إيقاف التجربة الجارية قبل بدء تجربة جديدة.

يمكن أن تحتوي التجربة على 8 متغيرات كحد أقصى (بما في ذلك خط الأساس) وما يصل إلى 25 معلمة لكل متغير. يمكن أن يصل حجم التجربة إلى حوالي 200 كيلو بايت. يتضمن ذلك أسماء المتغيرات ومعلمات المتغيرات وبيانات تعريف التكوين الأخرى.