เกี่ยวกับการทดสอบ A/B ของ Firebase

หน้านี้จะให้ข้อมูลโดยละเอียดเกี่ยวกับวิธีการทำงานของ Firebase A/B Testing เพื่อช่วยให้คุณเพิ่มความเกี่ยวข้องและประโยชน์ของผลการทดสอบได้สูงสุด

ขนาดตัวอย่าง

การอนุมาน Firebase A/B Testing ไม่จำเป็นต้องระบุขนาดตัวอย่างขั้นต่ำก่อนเริ่มการทดสอบ โดยทั่วไป คุณควรเลือกระดับการแสดงผลการทดสอบที่มากที่สุดที่คุณพอใจ ขนาดตัวอย่างที่ใหญ่ขึ้นจะเพิ่มโอกาสในการพบผลลัพธ์ที่มีนัยสำคัญทางสถิติ โดยเฉพาะอย่างยิ่งเมื่อความแตกต่างด้านประสิทธิภาพระหว่างตัวแปรมีน้อย นอกจากนี้ คุณอาจใช้เครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อหาขนาดตัวอย่างที่แนะนำตามลักษณะของการทดสอบ

แก้ไขการทดสอบ

คุณสามารถแก้ไขพารามิเตอร์ที่เลือกของการทดสอบที่ทำงานอยู่ได้ ซึ่งรวมถึงพารามิเตอร์ต่อไปนี้

• ชื่อการทดสอบ
• คำอธิบาย
• เงื่อนไขการกำหนดเป้าหมาย
• ค่าตัวแปร

วิธีแก้ไขการทดสอบ

1. ในคอนโซล Firebase ให้ไปที่ DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เปิดหน้าผลลัพธ์ของการทดสอบที่ต้องการแก้ไข
3. จากเมนูเพิ่มเติม ให้เลือกแก้ไขการทดสอบที่ทำงานอยู่
4. ทำการเปลี่ยนแปลงที่ต้องการ แล้วคลิกเผยแพร่

โปรดทราบว่าการเปลี่ยนลักษณะการทำงานของแอปในระหว่างการทดสอบที่กำลังดำเนินอยู่อาจส่งผลต่อผลลัพธ์

ตรรกะการกำหนดตัวแปรของการกำหนดค่าระยะไกล

ระบบจะกำหนดผู้ใช้ที่ตรงกับเงื่อนไขการกำหนดเป้าหมายการทดสอบทั้งหมด (รวมถึงเงื่อนไขเปอร์เซ็นต์การแสดงผล) ให้กับตัวแปรการทดสอบตามน้ำหนักของตัวแปรและแฮชของรหัสการทดสอบและรหัสการติดตั้ง Firebase ของผู้ใช้

Google Analytics กลุ่มเป้าหมาย อาจมีความล่าช้าและไม่พร้อมใช้งานทันทีเมื่อผู้ใช้มีคุณสมบัติตรงตามเกณฑ์กลุ่มเป้าหมายในตอนแรก ดังนี้

• เมื่อคุณสร้างกลุ่มเป้าหมายใหม่ ระบบอาจใช้เวลา 24-48 ชั่วโมงในการรวบรวมผู้ใช้ใหม่
• โดยปกติแล้ว ผู้ใช้ใหม่จะได้รับการลงทะเบียนในกลุ่มเป้าหมายที่มีสิทธิ์ภายใน 24-48 ชั่วโมงหลังจากที่ผู้ใช้มีสิทธิ์

สำหรับการกำหนดเป้าหมายที่คำนึงถึงเวลา ให้พิจารณาการใช้พร็อพเพอร์ตี้ผู้ใช้ Google Analytics หรือตัวเลือกการกำหนดเป้าหมายในตัว เช่น ประเทศหรือภูมิภาค ภาษา และเวอร์ชันแอป

เมื่อผู้ใช้เข้าสู่การทดสอบแล้ว ระบบจะกำหนดผู้ใช้ให้กับตัวแปรการทดสอบอย่างถาวร และผู้ใช้จะได้รับค่าพารามิเตอร์จากการทดสอบตราบใดที่การทดสอบยังคงทำงานอยู่ แม้ว่าพร็อพเพอร์ตี้ผู้ใช้จะเปลี่ยนแปลงและไม่เป็นไปตามเกณฑ์การกำหนดเป้าหมายการทดสอบอีกต่อไปก็ตาม

เหตุการณ์การเปิดใช้งาน

เหตุการณ์การเปิดใช้งานการทดสอบจะจำกัดการวัดผลการทดสอบไว้เฉพาะผู้ใช้แอปที่เรียกเหตุการณ์การเปิดใช้งานเท่านั้น เหตุการณ์การเปิดใช้งานการทดสอบไม่มีผลต่อพารามิเตอร์การทดสอบที่แอปดึงข้อมูล ผู้ใช้ทุกคนที่มีคุณสมบัติตรงตามเกณฑ์การกำหนดเป้าหมายการทดสอบจะได้รับพารามิเตอร์การทดสอบ ดังนั้น คุณจึงควรเลือกเหตุการณ์การเปิดใช้งานที่เกิดขึ้นหลังจากดึงข้อมูลและเปิดใช้งานพารามิเตอร์การทดสอบแล้ว แต่ก่อนที่จะใช้พารามิเตอร์การทดสอบเพื่อแก้ไขลักษณะการทำงานของแอป

น้ำหนักของตัวแปร

ในระหว่างการสร้างการทดสอบ คุณสามารถเปลี่ยนน้ำหนักของตัวแปรเริ่มต้นเพื่อจัดสรรผู้ใช้ที่เข้าร่วมการทดสอบเป็นเปอร์เซ็นต์ที่มากขึ้นให้กับตัวแปรหนึ่งๆ ได้

ตีความผลการทดสอบ

Firebase A/B Testing ใช้การอนุมานแบบฟรีเควนทิสต์เพื่อช่วยให้คุณเข้าใจแนวโน้มที่ผลการทดสอบอาจเกิดขึ้นจากความบังเอิญเพียงอย่างเดียว ความเป็นไปได้นี้แสดงด้วยค่าความน่าจะเป็นหรือค่า P-Value ค่า P-Value คือความน่าจะเป็นที่ความแตกต่างของประสิทธิภาพที่มากขนาดนี้หรือมากกว่านี้ระหว่างตัวแปร 2 รายการอาจเกิดขึ้นเนื่องจากความบังเอิญ หากไม่มีผลลัพธ์ใดๆ เกิดขึ้นจริง โดยวัดจากค่าระหว่าง 0 ถึง 1 A/B Testing ใช้ระดับนัยสำคัญที่ 0.05 เพื่อให้ได้ผลลัพธ์ดังนี้

• ค่า P-Value ที่น้อยกว่า 0.05 บ่งชี้ว่าหากความแตกต่างที่แท้จริงเป็น 0 จะมีโอกาสน้อยกว่า 5% ที่ความแตกต่างที่สังเกตได้ซึ่งมีค่าสูงขนาดนี้จะเกิดขึ้นแบบสุ่ม เนื่องจาก 0.05 เป็นเกณฑ์ ค่า P-Value ที่น้อยกว่า 0.05 จึงบ่งชี้ถึงความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปร
• ค่า p-value ที่มากกว่า 0.05 บ่งชี้ว่าความแตกต่างระหว่างตัวแปรไม่มีนัยสำคัญทางสถิติ

ระบบจะรีเฟรชข้อมูลการทดสอบวันละครั้ง และเวลาอัปเดตล่าสุดจะปรากฏที่ด้านบนของหน้าผลการทดสอบ

กราฟผลการทดสอบจะแสดงค่าเฉลี่ยสะสมของเมตริกที่เลือก เช่น หากคุณติดตามรายได้จากโฆษณาต่อผู้ใช้เป็นเมตริก ระบบจะแสดงรายได้ที่สังเกตได้ต่อผู้ใช้ และหากคุณติดตามผู้ใช้ที่ไม่พบข้อขัดข้อง ระบบจะติดตามเปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อขัดข้อง ข้อมูลนี้เป็นข้อมูลสะสมตั้งแต่เริ่มต้นการทดสอบ

ผลลัพธ์จะแบ่งออกเป็นข้อมูลที่สังเกตได้และข้อมูลการอนุมาน ข้อมูลที่สังเกตได้จะคำนวณจากข้อมูล Google Analytics โดยตรง และข้อมูลการอนุมานจะให้ค่า p-value และช่วงความเชื่อมั่นเพื่อช่วยคุณประเมินนัยสำคัญทางสถิติของข้อมูลที่สังเกตได้

สถิติต่อไปนี้จะแสดงสำหรับแต่ละเมตริก

ข้อมูลที่สังเกต

• มูลค่ารวมของเมตริกที่ติดตาม (จำนวนผู้ใช้ที่คงอยู่ จำนวนผู้ใช้ที่พบข้อขัดข้อง รายได้ทั้งหมด)
• อัตราเฉพาะเมตริก (อัตราการคงผู้ใช้ไว้, อัตรา Conversion, รายได้ต่อผู้ใช้)
• เปอร์เซ็นต์ความแตกต่าง (Lift) ระหว่างตัวแปรและฐาน

ข้อมูลการอนุมาน

• 95% CI (ความแตกต่างของค่าเฉลี่ย) แสดงช่วงที่มีค่า "จริง" ของเมตริกที่ติดตามซึ่งมีความเชื่อมั่น 95% ตัวอย่างเช่น หากการทดสอบให้ผลลัพธ์เป็น CI 95% สำหรับรายได้ทั้งหมดโดยประมาณระหว่าง 150 ถึง 300 บาท แสดงว่ามีโอกาส 95% ที่ค่าเฉลี่ยที่แตกต่างกันจริงจะอยู่ระหว่าง 150 ถึง 300 บาท หากช่วง CI มี 0 แสดงว่าระบบตรวจไม่พบความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปรและฐาน

  ค่าช่วงความเชื่อมั่นจะปรากฏในรูปแบบที่ตรงกับเมตริกที่ติดตาม เช่น เวลา (เป็นHH:MM:SS) สำหรับการคงผู้ใช้ไว้, USD สำหรับรายได้จากโฆษณาต่อผู้ใช้ และเปอร์เซ็นต์สำหรับอัตรา Conversion

• ค่า P-Value ซึ่งแสดงถึงความน่าจะเป็นในการสังเกตข้อมูลที่ต่างกันมากเท่ากับผลลัพธ์ที่ได้จากการทดสอบ โดยที่ไม่มีความแตกต่างที่แท้จริงระหว่างตัวแปรและเกณฑ์พื้นฐาน ยิ่งค่า P-Value ต่ำ ความเชื่อมั่นก็จะยิ่งสูงขึ้นว่าประสิทธิภาพที่สังเกตได้จะยังคงเป็นจริงหากเราทำการทดสอบซ้ำ ค่า 0.05 หรือต่ำกว่าบ่งชี้ถึงความแตกต่างอย่างมีนัยสำคัญและมีโอกาสต่ำที่ผลลัพธ์จะเกิดจากความบังเอิญ ค่า P-Value อิงตามการทดสอบแบบด้านเดียว ซึ่งค่าของตัวแปรมากกว่าค่าพื้นฐาน Firebase ใช้ t-test ของความแปรปรวนที่ไม่เท่ากันสำหรับตัวแปรต่อเนื่อง (ค่าตัวเลข เช่น รายได้) และ z-test ของสัดส่วนสำหรับข้อมูล Conversion (ค่าไบนารี เช่น การคงผู้ใช้ไว้ ผู้ใช้ที่ไม่พบข้อขัดข้อง ผู้ใช้ที่ทริกเกอร์เหตุการณ์ Google Analytics)

ผลการทดสอบจะให้ข้อมูลเชิงลึกที่สำคัญสำหรับตัวแปรการทดสอบแต่ละรายการ ซึ่งรวมถึงข้อมูลต่อไปนี้

• เมตริกการทดสอบแต่ละรายการสูงหรือต่ำกว่าค่าพื้นฐานมากน้อยเพียงใดตามที่วัดโดยตรง (นั่นคือ ข้อมูลที่สังเกตได้จริง)
• ความเป็นไปได้ที่ความแตกต่างที่พบระหว่างตัวแปรและเกณฑ์พื้นฐานอาจเกิดขึ้นเนื่องจากความบังเอิญ (ค่า P-Value)
• ช่วงที่น่าจะมีผลต่างด้านประสิทธิภาพ "ที่แท้จริง" ระหว่างตัวแปรกับฐานสำหรับเมตริกการทดสอบแต่ละรายการ ซึ่งเป็นวิธีทำความเข้าใจสถานการณ์ด้านประสิทธิภาพ "ที่ดีที่สุด" และ "แย่ที่สุด"

การกำหนดผู้นำ

สำหรับการทดสอบที่ใช้การอนุมานแบบ Frequentist Firebase จะประกาศว่าตัวแปรทำได้เหนือกว่า หากพบว่าประสิทธิภาพของตัวแปรและโฆษณาฐานแตกต่างอย่างมีนัยสำคัญทางสถิติ เมื่อพิจารณาเมตริกเป้าหมาย หากมีตัวแปรหลายรายการทำได้ตามเกณฑ์ ตัวแปรที่ได้ค่า P-Value ต่ำสุดจะได้รับเลือก

เนื่องจากการระบุโฆษณาที่ทำได้เหนือกว่าจะอิงตามเป้าหมายหลักอย่างเดียว คุณควรพิจารณาปัจจัยทั้งหมดที่เกี่ยวข้องและดูผลเมตริกรองก่อนตัดสินใจว่าจะเปิดตัวตัวแปรที่ทำได้เหนือกว่าหรือไม่ คุณอาจต้องพิจารณาข้อดีที่คาดว่าจะได้รับจากการเปลี่ยนแปลง ความเสี่ยงด้านลบ (เช่น ระดับล่างของช่วงความเชื่อมั่นสําหรับการปรับปรุง) และผลกระทบต่อเมตริกอื่นๆ นอกเหนือจากเป้าหมายหลัก

ตัวอย่างเช่น หากเมตริกหลักคือผู้ใช้ที่ไม่พบข้อขัดข้อง และตัวแปร A มีประสิทธิภาพเหนือกว่าค่าพื้นฐานอย่างชัดเจน แต่เมตริกการคงผู้ใช้ไว้ของตัวแปร A ต่ำกว่าค่าพื้นฐาน คุณอาจต้องตรวจสอบเพิ่มเติมก่อนที่จะเปิดตัวตัวแปร A ในวงกว้างขึ้น

คุณสามารถเปิดตัวตัวแปรใดก็ได้ ไม่ใช่แค่ตัวแปรที่ทำได้เหนือกว่า โดยพิจารณาจากการประเมินประสิทธิภาพโดยรวมทั้งในเมตริกหลักและเมตริกรอง

ระยะเวลาการทดสอบ

Firebase ขอแนะนำให้ทำการทดสอบต่อไปจนกว่าจะเป็นไปตามเงื่อนไขต่อไปนี้

1. การทดสอบรวบรวมข้อมูลได้เพียงพอที่จะให้ผลลัพธ์ที่เป็นประโยชน์แล้ว การทดสอบและข้อมูลผลลัพธ์จะอัปเดตวันละครั้ง คุณอาจต้องใช้เครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อประเมินขนาดตัวอย่างที่แนะนำสำหรับการทดสอบ
2. การทดสอบทำงานนานพอที่จะได้ตัวอย่างซึ่งเป็นตัวแทนของทั้งหมดของผู้ใช้และวัดประสิทธิภาพในระยะยาว เราขอแนะนำให้ใช้เวลาอย่างน้อย 2 สัปดาห์ในการทดสอบ Remote Config ทั่วไป

ระบบจะประมวลผลข้อมูลการทดสอบเป็นเวลาสูงสุด 90 วันหลังจากเริ่มการทดสอบ หลังจากผ่านไป 90 วัน ระบบจะหยุดการทดสอบโดยอัตโนมัติ ระบบจะไม่แสดงผลการทดสอบที่อัปเดตในคอนโซล Firebase อีกต่อไป และการทดสอบจะหยุดส่งค่าพารามิเตอร์เฉพาะการทดสอบ ณ จุดนี้ ไคลเอ็นต์จะเริ่มดึงค่าพารามิเตอร์ตามเงื่อนไขที่ตั้งไว้ในเทมเพลต Remote Config ระบบจะเก็บข้อมูลการทดสอบย้อนหลังไว้จนกว่าคุณจะลบการทดสอบ

สคีมา BigQuery

นอกจากการดูข้อมูลการทดสอบ A/B Testing ในคอนโซล Firebase แล้ว คุณยังตรวจสอบและวิเคราะห์ข้อมูลการทดสอบใน BigQuery ได้ด้วย แม้ว่า A/B Testing จะไม่มีตาราง BigQuery แยกต่างหาก แต่ระบบจะจัดเก็บการเป็นสมาชิกการทดสอบและตัวแปรไว้ในทุกเหตุการณ์ Google Analytics ภายในตารางเหตุการณ์ Analytics

พร็อพเพอร์ตี้ผู้ใช้ที่มีข้อมูลการทดสอบจะอยู่ในรูปแบบ userProperty.key like "firebase_exp_%" หรือ userProperty.key = "firebase_exp_01" โดยที่ 01 คือรหัสการทดสอบ และ userProperty.value.string_value มีดัชนี (แบบอิงตาม 0) ของตัวแปรการทดสอบ

คุณสามารถใช้พร็อพเพอร์ตี้ผู้ใช้ของการทดสอบเหล่านี้เพื่อดึงข้อมูลการทดสอบได้ ซึ่งจะช่วยให้คุณแบ่งผลการทดสอบออกเป็นหลายๆ วิธีและยืนยันผลลัพธ์ของ A/B Testing ได้อย่างอิสระ

หากต้องการเริ่มต้นใช้งาน ให้ทำตามขั้นตอนต่อไปนี้ตามที่อธิบายไว้ในคู่มือนี้

1. เปิดใช้การส่งออก BigQuery สำหรับ Google Analytics ในคอนโซล Firebase
2. เข้าถึงข้อมูล A/B Testing โดยใช้ BigQuery
3. สำรวจตัวอย่างการค้นหา

เปิดใช้การส่งออก BigQuery สำหรับ Google Analytics ในคอนโซล Firebase

หากใช้แพ็กเกจ Spark คุณสามารถใช้ แซนด์บ็อกซ์ BigQuery เพื่อเข้าถึง BigQuery ได้โดยไม่มีค่าใช้จ่าย ทั้งนี้ขึ้นอยู่กับขีดจำกัดของแซนด์บ็อกซ์ ดูข้อมูลเพิ่มเติมได้ที่ราคาและแซนด์บ็อกซ์ BigQuery

ก่อนอื่น โปรดตรวจสอบว่าคุณกำลังส่งออกข้อมูล Analytics ไปยัง BigQuery โดยทำดังนี้

1. ในคอนโซล Firebase ให้ไปที่แท็บ การตั้งค่า > การผสานรวม

2. ในการ์ด BigQuery ให้คลิกจัดการและยืนยันว่าโปรเจ็กต์กำลังส่งออกข้อมูล Analytics ไปยัง BigQuery

   หากการ์ดระบุว่าลิงก์ คุณจะต้องตั้งค่าการส่งออก (ไปที่ขั้นตอนถัดไป)

3. หากต้องการตั้งค่าการส่งออก ให้ทำดังนี้

   1. อ่านเกี่ยวกับการลิงก์ Firebase กับ BigQuery แล้วคลิกถัดไป

   2. ในส่วนกำหนดค่าการผสานรวม ให้เปิดใช้ Google Analytics

   3. เลือกภูมิภาคและเลือกการตั้งค่าการส่งออก

      หมายเหตุ: ดูข้อมูลเพิ่มเติมเกี่ยวกับการตั้งค่า Google Analytics สำหรับ Firebase ได้ที่การเก็บรวบรวมข้อมูล

   4. คลิกลิงก์กับ BigQuery

ทั้งนี้อาจใช้เวลาถึง 1 วันกว่าตารางจะพร้อมใช้งาน โดยขึ้นอยู่กับวิธีที่คุณเลือกส่งออกข้อมูล ดูข้อมูลเพิ่มเติมเกี่ยวกับการส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery ได้ที่หัวข้อส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery

เข้าถึงข้อมูล A/B Testing ใน BigQuery

ก่อนค้นหาข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจง คุณจะต้องได้รับข้อมูลต่อไปนี้บางส่วนหรือทั้งหมดเพื่อใช้ในการค้นหา

• รหัสการทดสอบ: คุณดูรหัสนี้ได้จาก URL ของหน้าภาพรวมการทดสอบ ตัวอย่างเช่น หาก URL มีลักษณะเป็น https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 รหัสการทดสอบคือ 25
• รหัสพร็อพเพอร์ตี้ Google Analytics: รหัสพร็อพเพอร์ตี้ Google Analytics 9 หลัก คุณจะเห็นรหัสนี้ใน Google Analytics และจะปรากฏใน BigQuery ด้วยเมื่อคุณขยายชื่อโปรเจ็กต์เพื่อแสดงชื่อตารางเหตุการณ์ Google Analytics (project_name.analytics_000000000.events)
• วันที่ทดสอบ: เพื่อสร้างการค้นหาที่รวดเร็วและมีประสิทธิภาพมากขึ้น แนวทางปฏิบัติแนะนำคือจำกัดการค้นหาไว้ที่พาร์ติชันตารางกิจกรรมรายวัน Google Analytics ที่มีข้อมูลการทดสอบ ซึ่งเป็นตารางที่ระบุด้วยคำต่อท้าย YYYYMMDD ดังนั้น หากการทดสอบทำงานตั้งแต่วันที่ 2 กุมภาพันธ์ 2026 ถึง 2 พฤษภาคม 2026 คุณจะต้องระบุ _TABLE_SUFFIX between '20260202' AND '20260502' ดูตัวอย่างได้ที่เลือกค่าของการทดสอบที่เฉพาะเจาะจง
• ชื่อเหตุการณ์: โดยทั่วไปแล้ว ชื่อเหล่านี้จะสอดคล้องกับเมตริกเป้าหมายที่คุณกําหนดค่าไว้ในการทดสอบ เช่น กิจกรรม in_app_purchase, ad_impression หรือกิจกรรม user_retention

เคล็ดลับ: หากคุณใช้แพ็กเกจ Blaze ทาง Firebase จะสร้างตัวอย่างการค้นหาเพื่อดึงข้อมูลชื่อการทดสอบ ตัวแปร ชื่อเหตุการณ์ และจำนวนเหตุการณ์สำหรับการทดสอบที่คุณเลือกได้ ดูข้อมูลเพิ่มเติมได้ที่ค้นหาข้อมูลการทดสอบโดยใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase

หลังจากรวบรวมข้อมูลที่จำเป็นในการสร้างการค้นหาแล้ว ให้ทำดังนี้

1. ในคอนโซล Google Cloud ให้ไปที่ BigQuery
2. เลือกโปรเจ็กต์ แล้วเลือกสร้างการค้นหา SQL
3. เพิ่มคำค้นหา ดูตัวอย่างการค้นหาที่จะเรียกใช้ได้ที่หัวข้อสำรวจตัวอย่างการค้นหา
4. คลิกเรียกใช้

เคล็ดลับ: แม้ว่าขั้นตอนเหล่านี้จะอธิบายการใช้คอนโซล Google Cloud แต่คุณก็สามารถใช้ CLI หรือไลบรารีของไคลเอ็นต์เพื่อค้นหา BigQuery ได้เช่นกัน ดูข้อมูลเพิ่มเติมในเอกสารประกอบของ BigQuery

ค้นหาข้อมูลการทดสอบโดยใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase

หากคุณใช้แพ็กเกจ Blaze หน้าภาพรวมการทดสอบจะมีตัวอย่างการค้นหาที่แสดงชื่อการทดสอบ ตัวแปร ชื่อเหตุการณ์ และจำนวนเหตุการณ์สำหรับการทดสอบที่คุณกำลังดูอยู่

วิธีรับและเรียกใช้การค้นหาที่สร้างขึ้นโดยอัตโนมัติ

1. ในคอนโซล Firebase ให้ไปที่ DevOps และการมีส่วนร่วม > การทดสอบ A/B
2. เลือกการทดสอบ A/B Testing ที่ต้องการค้นหาเพื่อเปิดภาพรวมการทดสอบ
3. จากเมนูตัวเลือก ให้เลือกค้นหาข้อมูลการทดสอบในส่วนการผสานรวม BigQuery การดำเนินการนี้จะเปิดโปรเจ็กต์ของคุณใน BigQuery ภายในคอนโซล Google Cloud และให้การค้นหาพื้นฐานที่คุณใช้ค้นหาข้อมูลการทดสอบได้

ตัวอย่างต่อไปนี้แสดงการค้นหาที่สร้างขึ้นสำหรับการทดสอบที่มีตัวแปร 3 รายการ (รวมถึงเส้นฐาน) ชื่อ "Winter welcome experiment" โดยจะแสดงชื่อการทดสอบที่ใช้งานอยู่ ชื่อตัวแปร เหตุการณ์ที่ไม่ซ้ำ และจำนวนเหตุการณ์สำหรับแต่ละเหตุการณ์ โปรดทราบว่า Query Builder ไม่ได้ระบุชื่อโปรเจ็กต์ในชื่อตาราง เนื่องจากจะเปิดภายในโปรเจ็กต์โดยตรง

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20260202' AND '20260502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

หากต้องการดูตัวอย่างการค้นหาเพิ่มเติม ให้ไปที่สำรวจตัวอย่างการค้นหา

สำรวจตัวอย่างคำค้นหา

ส่วนต่อไปนี้แสดงตัวอย่างการค้นหาที่คุณใช้เพื่อดึงข้อมูลการทดสอบ A/B Testing จากตารางเหตุการณ์ Google Analytics ได้

ดึงค่าการซื้อและค่าเบี่ยงเบนมาตรฐานของการทดสอบจากการทดสอบทั้งหมด

คุณสามารถใช้ข้อมูลผลการทดสอบเพื่อยืนยันผลลัพธ์ของ Firebase A/B Testing ได้อย่างอิสระ คำสั่ง SQL BigQuery ต่อไปนี้จะดึงข้อมูลตัวแปรการทดสอบ จำนวนผู้ใช้ที่ไม่ซ้ำในแต่ละตัวแปร และรวมรายได้ทั้งหมดจากเหตุการณ์ in_app_purchase และ ecommerce_purchase รวมถึงค่าเบี่ยงเบนมาตรฐานสำหรับการทดสอบทั้งหมดภายในช่วงเวลาที่ระบุเป็นวันที่เริ่มต้นและวันที่สิ้นสุดของ _TABLE_SUFFIX คุณสามารถใช้ข้อมูลที่ได้จากการค้นหานี้กับเครื่องมือสร้างนัยสำคัญทางสถิติสำหรับการทดสอบ t-test แบบทางเดียวเพื่อยืนยันว่าผลลัพธ์ที่ Firebase ให้มาตรงกับการวิเคราะห์ของคุณเอง

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ A/B Testing คำนวณการอนุมานได้ที่หัวข้อตีความผลการทดสอบ

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

เลือกค่าของการทดสอบที่เฉพาะเจาะจง

ตัวอย่างการค้นหาต่อไปนี้แสดงวิธีรับข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจงใน BigQuery การค้นหาตัวอย่างนี้จะแสดงชื่อการทดสอบ ชื่อตัวแปร (รวมถึง Baseline) ชื่อเหตุการณ์ และจํานวนเหตุการณ์

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

จำกัดสูงสุด

A/B Testing จำกัดการทดสอบทั้งหมดไว้ที่ 300 รายการ ซึ่งประกอบด้วยการทดสอบที่ทำงานอยู่ 24 รายการ ขีดจำกัดเหล่านี้จะแชร์กับการเปิดตัว Remote Config รายการ ตัวอย่างเช่น หากคุณมีการเปิดตัวที่ทำงานอยู่ 2 รายการและการทดสอบที่ทำงานอยู่ 3 รายการ คุณจะมีการเปิดตัวหรือการทดสอบเพิ่มเติมได้สูงสุด 19 รายการ

• หากถึงขีดจำกัดการทดสอบทั้งหมด 300 รายการ คุณต้องลบการทดสอบที่มีอยู่ก่อนจึงจะสร้างการทดสอบใหม่ได้

• หากถึงขีดจำกัดการทดสอบและการเปิดตัวที่ทำงานอยู่ 24 รายการ คุณต้องหยุดการทดสอบหรือการเปิดตัวที่ทำงานอยู่ก่อนจึงจะเริ่มการทดสอบหรือการเปิดตัวใหม่ได้

การทดสอบมีตัวแปรได้สูงสุด 8 รายการ (รวมถึงตัวแปรพื้นฐาน) และพารามิเตอร์สูงสุด 25 รายการสําหรับตัวแปรแต่ละรายการ การทดสอบมีขนาดได้สูงสุดประมาณ 200 KiB ซึ่งรวมถึงชื่อตัวแปร พารามิเตอร์ตัวแปร และข้อมูลเมตาการกำหนดค่าอื่นๆ