คู่มือนี้จะให้ข้อมูลเกี่ยวกับแนวคิดหลักที่เกี่ยวข้องกับการเปิดตัว Remote Config เพื่อให้คุณทำสิ่งต่อไปนี้ได้
- ทำความเข้าใจวิธีการทำงานของการเป็นสมาชิกกลุ่มการเปิดตัว
- ทราบว่าควรใช้การเปิดตัวเมื่อใดและควรใช้การทดสอบ A/B เมื่อใด
- ดูวิธีตีความผลลัพธ์ของการเปิดตัว
ทำความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว
เมื่อคุณสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะจัดกลุ่มผู้ชมที่มีขนาดเท่ากันไว้ในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่ถูกต้องเมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งส่งผลให้เกิดกลุ่มต่อไปนี้
- เปิดใช้: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่าที่คุณกำหนดค่าไว้ในการเปิดตัว
- กลุ่มควบคุม: อุปกรณ์ของผู้ใช้ที่กำหนดให้อยู่ในกลุ่มนี้จะได้รับค่าที่ควรจะได้รับจาก Remote Config ไม่ใช่ค่าการเปิดตัว
- ไม่ได้กำหนด: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าที่ควรได้รับจาก Remote Config แต่ไม่ได้ใช้ในผลการเปรียบเทียบการเปิดตัว
กล่าวคือ หากคุณเปิดตัวให้แก่ผู้ใช้ 2% ระบบจะเพิ่มผู้ใช้เหล่านั้นลงในกลุ่มที่เปิดใช้ และเพิ่มผู้ใช้อีก 2% ลงในกลุ่มควบคุม ซึ่งใช้สำหรับการเปรียบเทียบ ผู้ใช้ 96% ยังคงอยู่ในกลุ่ม "ไม่ได้มอบหมาย"
วิธีนี้ช่วยให้มั่นใจได้ว่าการเปรียบเทียบประสิทธิภาพระหว่างผู้ใช้และอุปกรณ์ที่ได้รับค่าการเปิดตัวกับผู้ใช้และอุปกรณ์ที่ไม่ได้รับค่าการเปิดตัวจะเป็นไปอย่างยุติธรรม และช่วยให้คุณระบุความสำเร็จหรือความล้มเหลวของการเปิดตัวได้อย่างมีประสิทธิภาพในหน้าผลลัพธ์การเปิดตัว
การมอบหมายกลุ่มการเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว กล่าวคือ ภายในช่วงการเปิดตัวเดียวกัน หากคุณลดเปอร์เซ็นต์เป็น 0% ผู้ใช้ทั้งหมดจะเปลี่ยนกลับไปรับค่าพารามิเตอร์ที่กำหนดไว้ในเทมเพลต Remote Config หากคุณตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัวในภายหลัง ผู้ใช้ที่เคยอยู่ในกลุ่มเปิดใช้หรือกลุ่มควบคุมก่อนหน้านี้จะกลับไปอยู่ในกลุ่มที่ได้รับมอบหมายตั้งแต่แรก และจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น
เมื่อยืนยันว่ารุ่นของคุณประสบความสำเร็จและตัดสินใจเปิดตัวเต็มรูปแบบแก่ผู้ใช้เป้าหมาย 100% แล้ว Firebase จะไม่ใช้กลุ่มควบคุมอีกต่อไป และผู้ใช้และอุปกรณ์เป้าหมายทั้งหมดจะได้รับค่าการเปิดตัว
กรณีที่ควรใช้การเปิดตัวเทียบกับการทดสอบ A/B
การเปิดตัว Remote Config และ A/B Testing เหมาะสำหรับกรณีการใช้งานที่แตกต่างกันเล็กน้อย และสามารถใช้ร่วมกันได้
การเปิดตัวคือการทยอยเปิดตัว และมักใช้เพื่อเปิดตัวฟีเจอร์ใหม่แก่ผู้ใช้บางกลุ่ม คุณอาจต้องการกำหนดเป้าหมายผู้ใช้ในประเทศใดประเทศหนึ่ง หรือใช้แอปเวอร์ชันใดเวอร์ชันหนึ่ง ใช้การเปิดตัวเพื่อลดความเสี่ยง เพื่อทดสอบฟีเจอร์ใหม่ในสภาพแวดล้อมจริง โดยมีการควบคุมอย่างเข้มงวด เพื่อให้คุณเห็นประสิทธิภาพของฟีเจอร์ นอกจากนี้ คุณยังตรวจสอบประสิทธิภาพของบริการแบ็กเอนด์เมื่อมีภาระงานเพิ่มขึ้นจากฟีเจอร์ใหม่ และประมาณการใช้งานเพื่อให้แน่ใจว่าการเปลี่ยนแปลงของคุณปรับขนาดได้ก่อนที่จะเผยแพร่ต่อกลุ่มเป้าหมายที่กว้างขึ้น
การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณกำลังใช้ฟีเจอร์ใหม่ที่เปลี่ยนแปลงฟังก์ชันการทำงานอย่างมาก การเปลี่ยนแปลงที่อาจส่งผลให้เกิดผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐาน บริการ หรือ API ภายนอกของแบ็กเอนด์
A/B Testing ช่วยให้คุณนำเสนอฟีเจอร์หรือองค์ประกอบของแอปได้หลายเวอร์ชัน เช่น การอัปเดตรูปลักษณ์ของ UI, การเปลี่ยนข้อความโฆษณา, การอัปเดตระดับความยากของเกม จากนั้นคุณสามารถแสดงรูปแบบต่างๆ ให้ผู้ใช้เห็นเพื่อดูว่าตัวเลือกใดให้ผลลัพธ์ที่ดีกว่าโดยอิงตามเมตริกที่คุณเลือก (เช่น การมีส่วนร่วมของผู้ใช้ การคลิกโฆษณา และรายได้)
ใช้ A/B Testing เพื่อการตัดสินใจโดยอิงตามข้อมูล การเพิ่มประสิทธิภาพ และการทำความเข้าใจค่ากำหนดของผู้ใช้ ซึ่งเหมาะอย่างยิ่งสำหรับสถานการณ์ที่คุณมีตัวเลือกที่เปรียบเทียบได้หลายตัวเลือกและมีเป้าหมายที่เฉพาะเจาะจงมาก ตัวอย่างเช่น A/B Testing เหมาะสำหรับการเปลี่ยนแปลงที่คุณต้องการปรับแต่งแอปเพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบว่าตำแหน่งโฆษณาแบนเนอร์ใดทำให้เกิดการคลิกมากขึ้น
นอกจากนี้ คุณควรใช้การเปิดตัว Remote Config และ A/B Testing ร่วมกันภายในกลยุทธ์ที่ครอบคลุม โดยเริ่มจากการสร้างการทดสอบ A/B กับกลุ่มผู้ใช้ที่จำกัดเพื่อระบุตัวแปรที่ให้ผลลัพธ์ที่ดีที่สุดสำหรับเมตริกหลัก จากนั้น หลังจากที่ A/B Testing ได้ระบุผู้นำแล้ว ให้สร้างการเปิดตัวด้วยตัวแปรที่ชนะ ตรวจสอบความเสถียรและเมตริกหลักเมื่อคุณเพิ่มจำนวนผู้ใช้ที่เห็นการเปลี่ยนแปลงทีละน้อย และหลังจากที่คุณมั่นใจในประสิทธิภาพแล้ว ให้เปิดตัวการเปลี่ยนแปลงแก่ผู้ใช้ 100%
ทำความเข้าใจผลลัพธ์ของการเปิดตัว
หลังจากเผยแพร่การเปิดตัวแล้ว คุณควรเริ่มเห็นผลลัพธ์เกือบจะทันที
คุณดูผลลัพธ์ได้หลายวิธีในคอนโซล Firebase ดังนี้
จากหน้า DevOps และการมีส่วนร่วม > การกำหนดค่าระยะไกล > พารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกำหนดค่าไว้สำหรับการเปิดตัว แล้วคลิกดูผลลัพธ์ใต้การเปิดตัว
จากหน้า DevOps และการมีส่วนร่วม > การกำหนดค่าระยะไกล > การเปิดตัว ให้คลิกชื่อการเปิดตัว
ตัวเลือกแอปที่ด้านบนของหน้าDevOps และการมีส่วนร่วม > การกำหนดค่าระยะไกล > ผลลัพธ์ช่วยให้คุณเลือกมุมมองสำหรับแอปที่เฉพาะเจาะจงได้ ผลลัพธ์จะแบ่งออกเป็นหลายส่วน ดังนี้
- ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัวที่กำหนดค่าไว้ และให้คุณย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยายแล้ว ระบบจะแสดงภาพรวมของรายละเอียดการกำหนดค่าการเปิดตัวและประวัติการเปลี่ยนแปลง
ส่วนผู้ใช้ ซึ่งแสดงจำนวนการติดตั้งแอปที่ไม่ซ้ำกันซึ่งดึงข้อมูลเทมเพลตการเปิดตัวในกลุ่มต่อไปนี้
- เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าการเปิดตัวแล้ว
- กลุ่มควบคุม: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าที่ไม่มีการเปลี่ยนแปลง
- เป้าหมาย: จำนวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับเงื่อนไขที่คุณตั้งไว้ในการเปิดตัว ซึ่งควรได้รับการเปิดตัวหรือค่าที่ไม่เปลี่ยนแปลง
ดูข้อมูลเพิ่มเติมได้ที่ทำความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว
ส่วนCrashlytics และAnalytics ซึ่งแสดงข้อมูลเปรียบเทียบสำหรับกลุ่มที่เปิดใช้และกลุ่มควบคุม คุณสามารถกรองข้อมูลที่รวบรวมไว้สำหรับช่วง 24 ชั่วโมงที่ผ่านมา ตั้งแต่เผยแพร่ครั้งล่าสุด หรือช่วง 7 วันที่ผ่านมา 24 ชั่วโมงที่ผ่านมาเป็นมุมมองเริ่มต้น
ผลลัพธ์ Crashlytics รายการสำหรับการเปิดตัว
คุณสามารถดูจำนวนรวมของข้อขัดข้อง ข้อผิดพลาดที่ไม่ร้ายแรง และ ANR ที่เกิดขึ้นระหว่างการเปิดตัวได้ ผลลัพธ์แต่ละหมวดหมู่จะแสดงกราฟแท่งที่เปรียบเทียบผลรวมดิบของผู้ใช้ที่เปิดใช้และผู้ใช้กลุ่มควบคุมที่มีคุณสมบัติตรงตามเงื่อนไขของการเปิดตัว
- ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำกันซึ่งพบข้อขัดข้องสำหรับกลุ่มที่เปิดใช้และกลุ่มควบคุม
- ข้อผิดพลาดที่ไม่ร้ายแรง: แสดงจำนวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง จำนวนผู้ใช้ที่ไม่ซ้ำที่พบข้อผิดพลาดที่ไม่ร้ายแรง
- ANR (แอป Android เท่านั้น): แสดงจำนวนและเปอร์เซ็นต์ของเหตุการณ์ "แอปพลิเคชันไม่ตอบสนอง" รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำซึ่งพบเหตุการณ์ ANR อย่างน้อย 1 เหตุการณ์
หากต้องการดูข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง ให้คลิกดูเพิ่มเติมใน Crashlytics ซึ่งจะเปิดหน้า Crashlytics พร้อมตัวกรองที่ใช้งานอยู่สำหรับการเปิดตัวที่คุณตรวจสอบผลลัพธ์ ผลลัพธ์ของการเปิดตัวในหน้า Crashlytics จะวัดผู้ใช้ทั้งหมดที่เคยเห็นตัวแปรที่เกี่ยวข้อง ไม่ว่าจะเป็นเปิดใช้หรือควบคุม คุณเลือกดูข้อขัดข้องของกลุ่มควบคุม ข้อขัดข้องของกลุ่มที่เปิดใช้ หรือทั้ง 2 อย่างได้
ผลลัพธ์ Google Analytics รายการสำหรับการเปิดตัว
ส่วนผลลัพธ์การเปิดตัว Google Analytics จะเปรียบเทียบเมตริก Analytics สำหรับผู้ใช้ทั้งหมดที่เคยเห็นกลุ่มที่เปิดใช้หรือกลุ่มควบคุมโดยละเอียดและในมุมมองกราฟ โดยมีเมตริก 3 รายการดังนี้
- รายได้ทั้งหมด: แสดงยอดรวมของรายได้ ซึ่งรวมถึงรายได้จากโฆษณาและรายได้จากการซื้อในสกุลเงิน USD คุณสามารถกรองผลลัพธ์เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
- Conversion ทั้งหมด: แสดงจํานวนดิบของผลรวมเหตุการณ์ Conversion ทั้งหมด คุณสามารถกรองผลลัพธ์ตาม Conversion ที่ต้องการไฮไลต์ได้
- เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาในการมีส่วนร่วมทั้งหมดที่ผู้ใช้ใช้กับตัวแปรการเปิดตัวรายการใดรายการหนึ่ง เวลาในการมีส่วนร่วมทั้งหมดจะแสดงในรูปแบบชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟจะแสดงข้อมูลจากระยะเวลาที่คุณเลือกไว้เหนือส่วนCrashlytics