หน้านี้จะให้ข้อมูลโดยละเอียดเกี่ยวกับวิธีการทำงานของ Firebase A/B Testing เพื่อช่วยเพิ่มความเกี่ยวข้องและประโยชน์ของผลการทดสอบ
ขนาดตัวอย่าง
การอนุมานการทดสอบ A/B ของ Firebase ไม่ได้กำหนดให้ระบุขนาดตัวอย่างขั้นต่ำก่อนเริ่มการทดสอบ โดยทั่วไป คุณควรเลือกจำนวนผู้ที่เห็นในการทดสอบสูงสุดเท่าที่คุณพอใจ ตัวอย่างขนาดใหญ่จะเพิ่มโอกาสในการพบผลลัพธ์ที่มีนัยสําคัญทางสถิติ โดยเฉพาะเมื่อความแตกต่างด้านประสิทธิภาพระหว่างตัวแปรมีขนาดเล็ก การใช้เครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อหาขนาดตัวอย่างที่แนะนำตามลักษณะของการทดสอบก็มีประโยชน์เช่นกัน
แก้ไขการทดสอบ
คุณแก้ไขพารามิเตอร์ที่เลือกของการทดสอบที่ทำงานอยู่ได้ ซึ่งรวมถึง
- ชื่อการทดสอบ
- คำอธิบาย
- เงื่อนไขการกำหนดเป้าหมาย
- ค่าของตัวแปร
วิธีแก้ไขการทดสอบ
- เปิดหน้าผลลัพธ์ของการทดสอบที่คุณต้องการแก้ไข
- จากเมนูเพิ่มเติม ให้เลือก แก้ไขการทดสอบที่ทำงานอยู่
- แก้ไขตามต้องการ แล้วคลิกเผยแพร่
โปรดทราบว่าการเปลี่ยนลักษณะการทำงานของแอประหว่างที่การทดสอบทำงานอยู่อาจส่งผลต่อผลลัพธ์
ตรรกะการกำหนดตัวแปรของการกำหนดค่าระยะไกล
ระบบจะกำหนดผู้ใช้ที่ตรงกับเงื่อนไขการกำหนดเป้าหมายการทดสอบทั้งหมด (รวมถึงเงื่อนไขเปอร์เซ็นต์การเห็น) ให้กับตัวแปรการทดสอบตามน้ำหนักตัวแปร และแฮชของรหัสการทดสอบและรหัสการติดตั้ง Firebase ของผู้ใช้
กลุ่มเป้าหมายของ Google Analytics ขึ้นอยู่กับเวลาในการตอบสนองและใช้ไม่ได้โดยทันทีเมื่อผู้ใช้มีคุณสมบัติตรงตามเกณฑ์กลุ่มเป้าหมายในตอนแรก
- เมื่อคุณสร้างกลุ่มเป้าหมายใหม่ อาจใช้เวลา 24-48 ชั่วโมงในการรวบรวมผู้ใช้ใหม่
- โดยปกติแล้ว ผู้ใช้ใหม่จะลงทะเบียนในกลุ่มเป้าหมายที่มีคุณสมบัติตามเกณฑ์ใน 24-48 ชั่วโมงหลังจากที่มีสิทธิ์
สำหรับการกำหนดเป้าหมายที่ต้องคำนึงถึงเวลาเป็นสำคัญ ให้พิจารณาใช้พร็อพเพอร์ตี้ผู้ใช้ Google Analytics หรือตัวเลือกการกำหนดเป้าหมายในตัว เช่น ประเทศหรือภูมิภาค ภาษา และเวอร์ชันแอป
เมื่อผู้ใช้เข้าสู่การทดสอบแล้ว ระบบจะกําหนดผู้ใช้ให้กับตัวแปรการทดสอบอย่างถาวร และรับค่าพารามิเตอร์จากการทดสอบ ตราบใดที่การทดสอบนั้นยังคงทํางานอยู่ แม้ว่าพร็อพเพอร์ตี้ผู้ใช้จะเปลี่ยนแปลงและไม่เป็นไปตามเกณฑ์การกำหนดเป้าหมายการทดสอบแล้วก็ตาม
เหตุการณ์การเปิดใช้งาน
เหตุการณ์การเปิดใช้งานการทดสอบจะจำกัดการวัดผลการทดสอบไว้เฉพาะผู้ใช้แอปที่ทริกเกอร์เหตุการณ์การเปิดใช้งาน เหตุการณ์การเปิดใช้งานการทดสอบไม่มีผลต่อพารามิเตอร์การทดสอบที่แอปดึงข้อมูล ผู้ใช้ทั้งหมดที่ตรงตามเกณฑ์การกำหนดเป้าหมายการทดสอบจะได้รับพารามิเตอร์การทดสอบ ด้วยเหตุนี้ คุณจึงควรเลือกเหตุการณ์การเปิดใช้งานที่เกิดขึ้นหลังจากดึงและเปิดใช้งานพารามิเตอร์การทดสอบ แต่ก่อนที่จะมีการใช้พารามิเตอร์การทดสอบเพื่อแก้ไขลักษณะการทำงานของแอป
น้ำหนักของตัวแปร
ในระหว่างการสร้างการทดสอบ คุณเปลี่ยนน้ำหนักของตัวแปรเริ่มต้นได้เพื่อนำเปอร์เซ็นต์ของผู้ใช้การทดสอบไปไว้ในตัวแปรที่มากขึ้น
ตีความผลการทดสอบ
Firebase A/B Testing ใช้การอนุมานความถี่เพื่อช่วยให้คุณเข้าใจแนวโน้มที่ผลการทดสอบจะเกิดขึ้นเพียงเพราะการสุ่ม ความน่าจะเป็นนี้แสดงด้วยค่าความน่าจะเป็นหรือ p-value ค่า P-Value คือความน่าจะเป็นที่ความแตกต่างในประสิทธิภาพระหว่างตัวแปร 2 ตัวอาจเกิดขึ้นเนื่องจากความบังเอิญซึ่งวัดด้วยค่าระหว่าง 0 ถึง 1 การทดสอบ A/B ใช้ระดับนัยสำคัญเท่ากับ 0.05 เพื่อให้
- ค่า P-Value ที่น้อยกว่า 0.05 หมายถึงความแตกต่างที่มีนัยสำคัญทางสถิติระหว่างตัวแปรต่างๆ ซึ่งหมายความว่าไม่น่าจะเกิดขึ้นโดยบังเอิญ
- ค่า P-Value ที่มากกว่า 0.05 หมายความว่าความแตกต่างระหว่างตัวแปรไม่มีนัยสำคัญทางสถิติ
ระบบจะรีเฟรชข้อมูลการทดสอบวันละครั้ง และเวลาอัปเดตครั้งล่าสุดจะปรากฏที่ด้านบนของหน้าผลการทดสอบ
กราฟผลการทดสอบจะแสดงค่าเฉลี่ยสะสมของเมตริกที่เลือก ตัวอย่างเช่น หากคุณติดตามรายได้จากโฆษณาต่อผู้ใช้เป็นเมตริก ระบบจะแสดงรายได้ที่สังเกตการณ์ต่อผู้ใช้ และหากคุณกำลังติดตามผู้ใช้ที่ไม่พบข้อขัดข้อง การติดตามผู้ใช้ที่ไม่พบข้อขัดข้องจะติดตามเปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อขัดข้อง ข้อมูลนี้เป็นแบบสะสมมาตั้งแต่เริ่มต้นการทดสอบ
ผลลัพธ์จะแบ่งออกเป็นข้อมูลที่สังเกตได้และข้อมูลการอนุมาน ค่าที่สังเกตได้จะคำนวณจากข้อมูลใน Google Analytics โดยตรง และข้อมูลการอนุมานจะแสดงค่า p และช่วงความเชื่อมั่นเพื่อช่วยคุณประเมินนัยสำคัญทางสถิติของข้อมูลที่สังเกตได้
สำหรับเมตริกแต่ละรายการ สถิติต่อไปนี้จะแสดงขึ้นมา
ข้อมูลที่สังเกต
- มูลค่ารวมสำหรับเมตริกที่ติดตาม (จำนวนผู้ใช้งานต่อเนื่อง จำนวนผู้ใช้ที่ขัดข้อง รายได้ทั้งหมด)
- อัตราเฉพาะเมตริก (อัตราการรักษาผู้ใช้, อัตรา Conversion, รายได้ต่อผู้ใช้)
- เปอร์เซ็นต์ความแตกต่าง (การเพิ่ม) ระหว่างตัวแปรและเกณฑ์พื้นฐาน
ข้อมูลการอนุมาน
95% CI (ความแตกต่างในความหมาย) แสดงช่วงที่มีค่า "จริง" ของเมตริกที่ติดตามด้วยความเชื่อมั่น 95% ตัวอย่างเช่น หากการทดสอบให้ผลลัพธ์ CI 95% สำหรับรายได้รวมโดยประมาณระหว่าง $5 ถึง $10 จะมีโอกาส 95% ที่ความแตกต่างที่แท้จริงจะอยู่ระหว่าง $5 ถึง $10 หากช่วง CI มี 0 แสดงว่าตรวจไม่พบความแตกต่างที่มีนัยสําคัญทางสถิติระหว่างตัวแปรกับเกณฑ์พื้นฐาน
ค่าช่วงความเชื่อมั่นจะแสดงในรูปแบบที่ตรงกับเมตริกที่ติดตาม เช่น เวลา (เป็น
HH:MM:SS
) สำหรับการคงผู้ใช้ไว้ เงิน USD สำหรับรายได้จากโฆษณาต่อผู้ใช้ และเปอร์เซ็นต์สำหรับอัตรา Conversionค่า P-value ซึ่งแสดงความน่าจะเป็นที่ตัวแปรและเกณฑ์พื้นฐานไม่มีความแตกต่างอย่างแท้จริง กล่าวคือ ความแตกต่างที่สังเกตได้มักเกิดจากความบังเอิญ ยิ่งค่า P-Value ต่ำเท่าใด ความเชื่อมั่นว่าประสิทธิภาพที่สังเกตได้จะยังคงเป็นจริงในอนาคตก็จะสูงขึ้นเท่านั้น ค่า 0.05 หรือต่ำกว่าแสดงถึงความแตกต่างที่มีนัยสำคัญและความเป็นไปได้ต่ำที่ผลลัพธ์เกิดจากความบังเอิญ ค่า P อิงตามการทดสอบแบบด้านเดียว ซึ่งค่าของตัวแปรมากกว่าค่าพื้นฐาน Firebase ใช้ t-test ของความแปรปรวนที่ไม่เท่ากันสำหรับตัวแปรต่อเนื่อง (ค่าตัวเลข เช่น รายได้) และการทดสอบ z ของสัดส่วนสำหรับข้อมูล Conversion (ค่าไบนารี เช่น การคงผู้ใช้ไว้ ผู้ใช้ที่ไม่พบข้อขัดข้อง ผู้ใช้ที่เรียกเหตุการณ์ Google Analytics ให้แสดง)
ผลการทดสอบให้ข้อมูลเชิงลึกที่สำคัญสำหรับแต่ละตัวแปรการทดสอบ ซึ่งได้แก่
- เมตริกการทดสอบแต่ละรายการสูงหรือต่ำกว่าเกณฑ์พื้นฐาน ตามที่วัดได้โดยตรง (ซึ่งก็คือข้อมูลที่สังเกตได้จริง)
- ความเป็นไปได้ที่ความแตกต่างที่พบระหว่างตัวแปรและเกณฑ์พื้นฐานอาจเกิดขึ้นจากโอกาสแบบสุ่ม (ค่า P-Value)
- ช่วงที่มีแนวโน้มว่าจะมีความแตกต่างด้านประสิทธิภาพ "จริง" ระหว่างตัวแปรและเกณฑ์พื้นฐานสำหรับเมตริกการทดสอบแต่ละรายการ ซึ่งเป็นวิธีในการทำความเข้าใจสถานการณ์ด้านประสิทธิภาพแบบ "กรณีที่ดีที่สุด" และ "ที่แย่ที่สุด"
ตีความผลลัพธ์ของการทดสอบที่ขับเคลื่อนโดย Google Optimize
ผลการทดสอบ A/B Testing ของ Firebase สําหรับการทดสอบที่เริ่มต้นก่อนวันที่ 23 ตุลาคม 2023 ขับเคลื่อนโดย Google Optimize Google Optimize ใช้การอนุมานแบบ Bayesian ในการสร้างสถิติเชิงลึกจากข้อมูลการทดสอบ
ผลลัพธ์จะแบ่งออกเป็น "ข้อมูลที่สังเกต" และ "ข้อมูลโดยประมาณ" โดยข้อมูลที่สังเกตได้จะคำนวณจากข้อมูลวิเคราะห์โดยตรง และข้อมูลโดยประมาณก็ได้มาจากการประยุกต์ใช้โมเดล Bayesian กับข้อมูลที่สังเกตได้
สำหรับเมตริกแต่ละรายการ สถิติต่อไปนี้จะแสดงขึ้นมา
ค่าที่สังเกตได้
- มูลค่าทั้งหมด (ผลรวมของเมตริกสำหรับผู้ใช้ทั้งหมดในตัวแปร)
- ค่าเฉลี่ย (ค่าเฉลี่ยของเมตริกสําหรับผู้ใช้ในตัวแปร)
- % ส่วนต่างจากเกณฑ์พื้นฐาน
ข้อมูลโดยประมาณ
- ความน่าจะเป็นที่จะชนะเกณฑ์พื้นฐาน: แนวโน้มที่เมตริกจะสูงกว่าสำหรับตัวแปรนี้เมื่อเทียบกับเกณฑ์พื้นฐาน
- เปอร์เซ็นต์ความแตกต่างจากเกณฑ์พื้นฐาน: อิงตามค่าประมาณของโมเดลมัธยฐานของเมตริกสําหรับตัวแปรและเกณฑ์พื้นฐาน
- ช่วงเมตริก: ช่วงที่น่าจะพบค่าของเมตริกมากที่สุดโดยมีความแน่นอน 50% และ 95%
โดยรวมแล้ว ผลการทดสอบได้ให้ข้อมูลเชิงลึกที่สำคัญ 3 ประการสำหรับตัวแปรแต่ละรายการในการทดสอบ ดังนี้
- เมตริกการทดสอบแต่ละรายการสูงหรือต่ำกว่าเกณฑ์พื้นฐานที่วัดโดยตรง (นั่นคือ ข้อมูลที่สังเกตได้จริง)
- แนวโน้มที่เมตริกการทดสอบแต่ละรายการจะสูงกว่าเกณฑ์พื้นฐาน / ภาพรวมที่ดีที่สุด โดยอิงจากการอนุมานแบบ Bayes (ความน่าจะเป็นที่จะทำได้ดีกว่า / ดีที่สุดตามลำดับ)
- ช่วงที่เป็นไปได้สำหรับเมตริกการทดสอบแต่ละรายการตามการอนุมานแบบ Bayes -"กรณีที่ดีที่สุด" และ "กรณีที่เลวร้ายที่สุด" (ช่วงเวลาที่น่าเชื่อถือ)
การกำหนดผู้นำ
สําหรับการทดสอบที่ใช้การอนุมานความถี่ Firebase จะประกาศว่าตัวแปรนําไปใช้หากมีความแตกต่างด้านประสิทธิภาพที่มีนัยสําคัญทางสถิติระหว่างตัวแปรกับเกณฑ์พื้นฐานในเมตริกเป้าหมาย หากมีตัวแปรหลายรายการตรงตามเกณฑ์นี้ ระบบจะเลือกตัวแปรที่มี p-value ต่ำสุด
สำหรับการทดสอบที่ใช้ Google Optimize Firebase จะประกาศว่าตัวแปรหนึ่งเป็น "ผู้นำที่ชัดเจน" หากมีโอกาสมากกว่า 95% ที่จะดีกว่าตัวแปรพื้นฐานในเมตริกหลัก หากมีตัวแปรหลายรายการตรงตามเกณฑ์ "ผู้นำที่ชัดเจน" ระบบจะติดป้ายกำกับเฉพาะตัวแปรที่มีประสิทธิภาพดีที่สุดโดยรวมเป็น "ตัวแปรที่ดีที่สุดที่ชัดเจน"
เนื่องจากการพิจารณาผู้นำจะขึ้นอยู่กับเป้าหมายหลักเท่านั้น คุณจึงควรพิจารณาปัจจัยที่เกี่ยวข้องทั้งหมดและตรวจสอบผลลัพธ์ของเมตริกรองก่อนที่จะตัดสินใจว่าจะนำตัวแปรที่ดีที่สุดไปใช้หรือไม่ คุณอาจต้องพิจารณาผลข้างเคียงที่คาดไว้ของการเปลี่ยนแปลง ความเสี่ยงข้อเสีย (เช่น ช่วงความเชื่อมั่นที่ต่ำลงสำหรับการปรับปรุง) และผลกระทบต่อเมตริกอื่นนอกเหนือจากเป้าหมายหลัก
เช่น หากเมตริกหลักคือผู้ใช้ที่ไม่พบข้อขัดข้อง และตัวแปร A เป็นผู้นำที่ชัดเจนกว่าเกณฑ์พื้นฐาน แต่เมตริกการคงผู้ใช้ของตัวแปร A ติดตามการคงผู้ใช้ไว้ระดับพื้นฐาน คุณอาจต้องตรวจสอบเพิ่มเติมก่อนที่จะเปิดตัวตัวแปร A ในวงกว้างขึ้น
คุณเปิดตัวตัวแปรใดก็ได้ ไม่ใช่แค่ตัวแปรที่ดีที่สุด โดยอิงตามการประเมินประสิทธิภาพโดยรวมทั้งในเมตริกหลักและเมตริกรอง
ระยะเวลาการทดสอบ
Firebase ขอแนะนำให้ดำเนินการทดสอบต่อไปจนกว่าจะเป็นไปตามเงื่อนไขต่อไปนี้
- การทดสอบได้มีข้อมูลมากพอที่จะให้ผลลัพธ์ที่เป็นประโยชน์ ข้อมูลการทดสอบและผลลัพธ์จะได้รับการอัปเดตวันละครั้ง คุณอาจต้องการดูเครื่องคำนวณขนาดตัวอย่างออนไลน์เพื่อประเมินขนาดตัวอย่างที่แนะนำของการทดสอบ
- การทดสอบนี้ดำเนินการมานานพอที่จะเห็นตัวอย่างซึ่งมาจากผู้ใช้และวัดประสิทธิภาพในระยะยาว รันไทม์ขั้นต่ำที่แนะนำสำหรับการทดสอบการกำหนดค่าระยะไกลทั่วไปคือ 2 สัปดาห์
ข้อมูลการทดสอบจะได้รับการประมวลผลไม่เกิน 90 วันหลังจากเริ่มการทดสอบ หลังจาก 90 วัน การทดสอบจะหยุดโดยอัตโนมัติ ผลการทดสอบจะไม่อัปเดตในคอนโซล Firebase อีกต่อไป และการทดสอบจะหยุดส่งค่าพารามิเตอร์เฉพาะการทดสอบ ณ จุดนี้ ไคลเอ็นต์จะเริ่มดึงข้อมูลค่าพารามิเตอร์ตามเงื่อนไขที่กำหนดไว้ในเทมเพลตการกำหนดค่าระยะไกล ระบบจะเก็บรักษาข้อมูลการทดสอบที่ผ่านมาไว้จนกว่าคุณจะลบการทดสอบ
สคีมา BigQuery
นอกเหนือจากการดูข้อมูลการทดสอบ A/B Testing ในคอนโซล Firebase แล้ว คุณยังตรวจสอบและวิเคราะห์ข้อมูลการทดสอบใน BigQuery ได้ด้วย แม้ว่าการทดสอบ A/B ไม่มีตาราง BigQuery แยกต่างหาก แต่ระบบจะจัดเก็บไว้ในเหตุการณ์ Google Analytics ทุกเหตุการณ์ภายในตารางเหตุการณ์ Analytics
พร็อพเพอร์ตี้ผู้ใช้ที่มีข้อมูลการทดสอบอยู่ในรูปแบบ userProperty.key like "firebase_exp_%"
หรือ userProperty.key =
"firebase_exp_01"
โดยที่ 01
คือรหัสการทดสอบ และ userProperty.value.string_value
มีดัชนี (แบบฐานศูนย์) ของตัวแปรการทดสอบ
คุณใช้พร็อพเพอร์ตี้ผู้ใช้ทดสอบเหล่านี้เพื่อดึงข้อมูลการทดสอบได้ วิธีนี้ช่วยให้คุณแบ่งผลการทดสอบได้หลากหลายวิธีและตรวจสอบผลลัพธ์ของการทดสอบ A/B ได้อย่างอิสระ
หากต้องการเริ่มต้นใช้งาน ให้ทําตามขั้นตอนต่อไปนี้ตามที่อธิบายไว้ในคู่มือนี้
- เปิดใช้ BigQuery Export สำหรับ Google Analytics ในคอนโซล Firebase
- เข้าถึงข้อมูลการทดสอบ A/B โดยใช้ BigQuery
- สำรวจตัวอย่างการค้นหา
เปิดใช้ BigQuery Export สำหรับ Google Analytics ในคอนโซล Firebase
หากใช้แพ็กเกจ Spark คุณจะใช้แซนด์บ็อกซ์ของ BigQuery เพื่อเข้าถึง BigQuery ได้โดยไม่มีค่าใช้จ่าย โดยจะขึ้นอยู่กับขีดจำกัดของแซนด์บ็อกซ์ ดูข้อมูลเพิ่มเติมได้ที่ราคาและแซนด์บ็อกซ์ของ BigQuery
ก่อนอื่น ให้ส่งออกข้อมูล Analytics ไปยัง BigQuery
- เปิดแท็บการผสานรวม ซึ่งคุณเข้าถึงได้โดยใช้ > การตั้งค่าโปรเจ็กต์ในคอนโซล Firebase
- หากคุณใช้ BigQuery กับบริการ Firebase อื่นๆ อยู่แล้ว ให้คลิกจัดการ หรือคลิกลิงก์
- อ่านเกี่ยวกับการลิงก์ Firebase กับ BigQuery แล้วคลิกถัดไป
- ในส่วนกําหนดค่าการผสานรวม ให้เปิดใช้ปุ่มสลับ Google Analytics
เลือกภูมิภาค แล้วเลือกการตั้งค่าการส่งออก
คลิกลิงก์กับ BigQuery
อาจต้องใช้เวลาถึง 1 วันกว่าตารางจะพร้อมใช้งาน โดยขึ้นอยู่กับวิธีที่คุณเลือกส่งออกข้อมูล ดูข้อมูลเพิ่มเติมเกี่ยวกับการส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery ได้ที่หัวข้อส่งออกข้อมูลโปรเจ็กต์ไปยัง BigQuery
เข้าถึงข้อมูลการทดสอบ A/B ใน BigQuery
ก่อนค้นหาข้อมูลสำหรับการทดสอบหนึ่งๆ คุณควรรับข้อมูลบางส่วนหรือทั้งหมดต่อไปนี้มาใช้ในคำค้นหา
- รหัสการทดสอบ: คุณดูรหัสนี้ได้จาก URL ของหน้าภาพรวมการทดสอบ ตัวอย่างเช่น หาก URL มีลักษณะดังนี้
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25
รหัสการทดสอบจะเป็น 25 - รหัสพร็อพเพอร์ตี้ Google Analytics: นี่คือรหัสพร็อพเพอร์ตี้ Google Analytics 9 หลักของคุณ ซึ่งจะอยู่ใน Google Analytics และจะปรากฏใน BigQuery ด้วยเมื่อคุณขยายชื่อโปรเจ็กต์เพื่อแสดงชื่อตารางเหตุการณ์ Google Analytics (
project_name.analytics_000000000.events
) - วันที่ทดสอบ: หากต้องการเขียนคำค้นหาอย่างรวดเร็วและมีประสิทธิภาพมากขึ้น แนวทางปฏิบัติที่ดีคือจำกัดการค้นหาให้อยู่ในพาร์ติชันตารางเหตุการณ์รายวันของ Google Analytics ที่มีข้อมูลการทดสอบ ซึ่งเป็นตารางที่ระบุด้วยคำต่อท้าย
YYYYMMDD
ดังนั้น หากการทดสอบทำงานตั้งแต่วันที่ 2 กุมภาพันธ์ 2024 ถึงวันที่ 2 พฤษภาคม 2024 คุณต้องระบุ_TABLE_SUFFIX between '20240202' AND '20240502'
ดูตัวอย่างได้ที่เลือกค่าของการทดสอบที่เฉพาะเจาะจง - ชื่อเหตุการณ์: โดยปกติแล้ว เหตุการณ์เหล่านี้จะสอดคล้องกับเมตริกเป้าหมายที่คุณกำหนดค่าไว้ในการทดสอบ เช่น
in_app_purchase
เหตุการณ์,ad_impression
หรือuser_retention
หลังจากรวบรวมข้อมูลที่จำเป็นต้องใช้เพื่อสร้างการสืบค้นข้อมูลแล้ว ให้ทำดังนี้
- เปิด BigQuery ในคอนโซล Google Cloud
- เลือกโปรเจ็กต์ แล้วเลือกสร้างการค้นหา SQL
- เพิ่มคำค้นหา ตัวอย่างการค้นหาที่จะใช้ได้ที่สำรวจตัวอย่างการค้นหา
- คลิกเรียกใช้
ค้นหาข้อมูลการทดสอบโดยใช้คำค้นหาที่สร้างขึ้นโดยอัตโนมัติของคอนโซล Firebase
หากคุณใช้แผน Blaze หน้าภาพรวมการทดสอบจะแสดงตัวอย่างคำค้นหาที่แสดงชื่อการทดสอบ ตัวแปร ชื่อเหตุการณ์ และจำนวนเหตุการณ์ของการทดสอบที่คุณดูอยู่
หากต้องการรับและเรียกใช้คำค้นหาที่สร้างขึ้นโดยอัตโนมัติ ให้ทำดังนี้
- จากคอนโซล Firebase ให้เปิดการทดสอบ A/B แล้วเลือกการทดสอบ A/B Testing ที่ต้องการค้นหาเพื่อเปิดภาพรวมการทดสอบ
- จากเมนูตัวเลือก ใต้การผสานรวม BigQuery ให้เลือกข้อมูลการทดสอบการค้นหา การดำเนินการนี้จะเปิดโปรเจ็กต์ใน BigQuery ภายในคอนโซลคอนโซล Google Cloud และมอบการค้นหาพื้นฐานที่คุณใช้ค้นหาข้อมูลการทดสอบได้
ตัวอย่างต่อไปนี้แสดงข้อความค้นหาที่สร้างขึ้นสำหรับการทดสอบที่มี 3 ตัวแปร (รวมถึงเกณฑ์พื้นฐาน) ชื่อ "การทดสอบต้อนรับฤดูหนาว" โดยจะแสดงชื่อการทดสอบที่ใช้งานอยู่ ชื่อตัวแปร เหตุการณ์ที่ไม่ซ้ำ และจำนวนเหตุการณ์ของแต่ละเหตุการณ์ โปรดทราบว่าเครื่องมือสร้างคำค้นหาไม่ได้ระบุชื่อโปรเจ็กต์ไว้ในชื่อตาราง เนื่องจากโปรแกรมดังกล่าวจะเปิดขึ้นภายในโปรเจ็กต์โดยตรง
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
หากต้องการตัวอย่างการค้นหาเพิ่มเติม โปรดไปที่หัวข้อสำรวจตัวอย่างการค้นหา
สำรวจตัวอย่างการค้นหา
ส่วนต่อไปนี้จะมีตัวอย่างข้อความค้นหาที่คุณใช้เพื่อดึงข้อมูลการทดสอบ A/B Testing จากตารางเหตุการณ์ Google Analytics ได้
แยกค่าเบี่ยงเบนมาตรฐานของการซื้อและการทดสอบจากการทดสอบทั้งหมด
คุณสามารถใช้ข้อมูลผลการทดสอบเพื่อยืนยันผลลัพธ์ Firebase A/B Testing ได้อย่างอิสระ คำสั่ง BigQuery SQL ต่อไปนี้จะดึงข้อมูลตัวแปรการทดสอบ จำนวนผู้ใช้ที่ไม่ซ้ำในแต่ละตัวแปร และรวมรายได้ทั้งหมดจากเหตุการณ์ in_app_purchase
และ ecommerce_purchase
รวมถึงค่าเบี่ยงเบนมาตรฐานสำหรับการทดสอบทั้งหมดภายในระยะเวลาที่ระบุเป็นวันที่เริ่มต้นและสิ้นสุดของ _TABLE_SUFFIX
คุณสามารถใช้ข้อมูลที่ได้รับจากคำค้นหานี้กับโปรแกรมสร้างนัยสำคัญทางสถิติสำหรับการทดสอบ t แบบด้านเดียวเพื่อยืนยันว่าผลลัพธ์ที่ Firebase ให้ตรงกับการวิเคราะห์ของคุณเอง
ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีคำนวณ A/B ในการคำนวณการอนุมานได้ที่ตีความผลการทดสอบ
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
เลือกค่าของการทดสอบที่ต้องการ
ตัวอย่างการค้นหาต่อไปนี้จะแสดงวิธีรับข้อมูลสำหรับการทดสอบที่เฉพาะเจาะจงใน BigQuery การค้นหาตัวอย่างนี้แสดงชื่อการทดสอบ ชื่อตัวแปร (รวมถึงเกณฑ์พื้นฐาน) ชื่อเหตุการณ์ และจำนวนเหตุการณ์
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName
ข้อจำกัด
การทดสอบ A/B จำกัดอยู่ที่การทดสอบทั้งหมด 300 รายการ การทดสอบที่ทำงานอยู่ 24 รายการ และการทดสอบฉบับร่าง 24 รายการ ขีดจำกัดเหล่านี้จะแชร์กับการเปิดตัวการกำหนดค่าระยะไกล ตัวอย่างเช่น หากคุณมีการเปิดตัวที่กำลังดำเนินอยู่ 2 รายการ และกำลังดำเนินการทดสอบอยู่ 3 รายการ คุณสามารถมีการเปิดตัวหรือการทดสอบเพิ่มเติมได้สูงสุด 19 รายการ
หากคุณมีการทดสอบถึงขีดจำกัดทั้งหมด 300 รายการหรือถึงขีดจำกัดการทดสอบฉบับร่าง 24 รายการ คุณต้องลบการทดสอบที่มีอยู่ก่อนที่จะสร้างการทดสอบใหม่
หากถึงขีดจํากัดการทดสอบและการเปิดตัวที่ทํางานอยู่ 24 รายการ คุณต้องหยุดการทดสอบหรือการเปิดตัวที่ทํางานอยู่ก่อนที่จะเริ่มการทดสอบใหม่
การทดสอบหนึ่งๆ จะมีตัวแปรได้สูงสุด 8 รายการ (รวมตัวแปรพื้นฐาน) และมีพารามิเตอร์ได้สูงสุด 25 รายการสำหรับแต่ละตัวแปร การทดสอบสามารถมีขนาดได้สูงสุดประมาณ 200 KiB ซึ่งรวมถึงชื่อตัวแปร พารามิเตอร์ตัวแปร และข้อมูลเมตาการกำหนดค่าอื่นๆ