คู่มือนี้ให้ข้อมูลเกี่ยวกับแนวคิดหลักที่เกี่ยวข้องกับการเปิดตัว Remote Config เพื่อให้คุณทำสิ่งต่อไปนี้ได้
- ทําความเข้าใจวิธีการทํางานของการเป็นสมาชิกกลุ่มการเปิดตัว
- ทราบถึงกรณีที่ควรใช้การเปิดตัวและกรณีที่ควรใช้การทดสอบ A/B
- ดูวิธีตีความผลการเปิดตัว
ทําความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว
เมื่อสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะจัดสรรกลุ่มเป้าหมายในสัดส่วนที่เท่ากันลงในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่ถูกต้อง เมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งจะส่งผลให้เกิดกลุ่มต่อไปนี้
- เปิดใช้: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่าที่คุณ กำหนดค่าในการเปิดตัว
- กลุ่มควบคุม: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่า ที่ได้รับจาก Remote Config ไม่ใช่ค่า การเปิดตัว
- ไม่ได้กำหนด: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าที่ควรจะได้รับจาก Remote Config แต่ไม่ได้ใช้ในผลการเปรียบเทียบการเปิดตัว
กล่าวคือ หากคุณเปิดตัวต่อผู้ใช้ 2% ระบบจะเพิ่มผู้ใช้เหล่านั้นลงในกลุ่มที่เปิดใช้ และเพิ่มผู้ใช้ 2% อื่นๆ ลงในกลุ่มควบคุม ซึ่งใช้สำหรับการเปรียบเทียบ ผู้ใช้ 96% ยังคงอยู่ในกลุ่ม "ไม่ได้กำหนด"
วิธีนี้ช่วยให้มั่นใจได้ว่าการเปรียบเทียบประสิทธิภาพระหว่างผู้ใช้และอุปกรณ์ที่ได้รับค่าการเปิดตัวกับผู้ใช้และอุปกรณ์ที่ไม่ได้รับค่าการเปิดตัวนั้นเป็นไปอย่างยุติธรรม และช่วยให้คุณระบุความสําเร็จหรือความล้มเหลวของการเปิดตัวได้อย่างมีประสิทธิภาพในหน้าผลลัพธ์การเปิดตัว
การกำหนดกลุ่มการเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว กล่าวคือ ภายในการเปิดตัวเดียวกัน หากคุณลดเปอร์เซ็นต์เป็น 0% ผู้ใช้ทั้งหมดจะกลับไปรับค่าพารามิเตอร์ที่กำหนดไว้ในRemote Config เทมเพลต หากคุณตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัวในภายหลัง ผู้ใช้ที่เคยอยู่ในกลุ่มที่เปิดใช้หรือกลุ่มควบคุมก่อนหน้านี้จะกลับไปอยู่ในกลุ่มที่ได้รับมอบหมายในตอนแรกและจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น
เมื่อคุณยืนยันว่าการเปิดตัวสำเร็จและตัดสินใจเปิดตัวอย่างเต็มรูปแบบ ต่อผู้ใช้เป้าหมาย 100% Firebase จะไม่ใช้กลุ่มควบคุมอีกต่อไป และผู้ใช้ และอุปกรณ์เป้าหมายทั้งหมดจะได้รับค่าการเปิดตัว
เมื่อใดที่ควรใช้การเปิดตัวเทียบกับการทดสอบ A/B
Remote Configและการเปิดตัว A/B Testing เหมาะสำหรับกรณีการใช้งานที่แตกต่างกันเล็กน้อยและสามารถใช้ร่วมกันได้
การเปิดตัวคือการเผยแพร่แบบค่อยเป็นค่อยไป และมักใช้เพื่อเผยแพร่ฟีเจอร์ใหม่ ให้แก่กลุ่มผู้ใช้ที่เลือก คุณอาจต้องการกำหนดเป้าหมายผู้ใช้ในประเทศหนึ่งๆ หรือผู้ใช้ที่ใช้แอปเวอร์ชันหนึ่งๆ ใช้การเปิดตัวเพื่อลดความเสี่ยง เพื่อทดสอบฟีเจอร์ใหม่ๆ ในสภาพแวดล้อมจริง โดยมีการควบคุมอย่างเข้มงวด เพื่อให้คุณเห็นประสิทธิภาพของฟีเจอร์ นอกจากนี้ คุณยังตรวจสอบประสิทธิภาพของบริการแบ็กเอนด์ เมื่อมีภาระงานเพิ่มเติมจากฟีเจอร์ใหม่ และการใช้งานโดยประมาณ เพื่อให้มั่นใจว่าการเปลี่ยนแปลงของคุณปรับขนาดได้ก่อนที่จะเผยแพร่ต่อกลุ่มเป้าหมายที่กว้างขึ้น
การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณกำลังใช้ฟีเจอร์ใหม่ ซึ่งเปลี่ยนแปลงฟังก์ชันการทำงานอย่างมาก การเปลี่ยนแปลงที่อาจส่งผลให้เกิด ผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐานของแบ็กเอนด์ บริการ หรือ API ภายนอก
A/B Testing ช่วยให้คุณนำเสนอฟีเจอร์หรือองค์ประกอบของแอปได้หลายเวอร์ชัน เช่น การอัปเดตรูปลักษณ์ของ UI, การเปลี่ยนข้อความโฆษณา, การอัปเดตความยากของเลเวลเกม จากนั้นคุณจะแสดงตัวเลือกต่างๆ ให้ผู้ใช้เพื่อดูว่าตัวเลือกใดที่กระตุ้นผลลัพธ์ได้ดีกว่าตามเมตริกที่คุณเลือก (เช่น การมีส่วนร่วมของผู้ใช้ การคลิกโฆษณา และรายได้)
ใช้ A/B Testing เพื่อการตัดสินใจ การเพิ่มประสิทธิภาพ และ ทำความเข้าใจค่ากำหนดของผู้ใช้โดยอิงตามข้อมูล เหมาะอย่างยิ่งสำหรับสถานการณ์ที่คุณมีตัวเลือกที่เปรียบเทียบได้หลายตัวเลือกและมีเป้าหมายที่เฉพาะเจาะจงมาก เช่น A/B Testing เหมาะสำหรับการเปลี่ยนแปลงที่คุณต้องการปรับแต่งแอปเพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบตำแหน่งโฆษณาแบนเนอร์ที่ทำให้เกิดการคลิกมากขึ้น
นอกจากนี้ คุณควรใช้Remote Configการเปิดตัวและการทดสอบ A/BA/B Testing ร่วมกันภายในกลยุทธ์ที่ครอบคลุม โดยเริ่มจากการสร้างการทดสอบ A/B กับกลุ่มผู้ใช้ที่จำกัดเพื่อระบุตัวแปรที่ให้ผลลัพธ์ที่ดีที่สุดสำหรับเมตริกหลัก จากนั้นหลังจากที่ A/B Testing ระบุผู้นำแล้ว ให้สร้างการเปิดตัวด้วยตัวแปรที่ชนะ ตรวจสอบความเสถียรและเมตริกสําคัญขณะที่คุณค่อยๆ เพิ่มจํานวนผู้ใช้ที่เห็นโฆษณา และหลังจากมั่นใจในประสิทธิภาพแล้ว ให้เปิดตัวต่อผู้ใช้ 100%
ทำความเข้าใจผลลัพธ์ของการเปิดตัว
หลังจากเผยแพร่การเปิดตัวแล้ว คุณควรเริ่มเห็นผลลัพธ์เกือบจะทันที
คุณดูผลลัพธ์ได้หลายวิธี ดังนี้
- จากหน้าพารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกำหนดค่าสำหรับการ เปิดตัว แล้วคลิกดูผลลัพธ์ใต้การเปิดตัว
- จากหน้าการเปิดตัว ให้คลิกชื่อการเปิดตัว
ตัวเลือกแอปที่ด้านบนของหน้าผลลัพธ์ช่วยให้คุณเลือกมุมมองสำหรับ แอปที่เฉพาะเจาะจงได้ ผลการค้นหาจะแบ่งออกเป็นหลายส่วนดังนี้
- ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัวที่กำหนดค่าไว้ และช่วยให้คุณย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยายแล้ว จะแสดงภาพรวมของรายละเอียดการกำหนดค่าการเปิดตัวและประวัติ การเปลี่ยนแปลง
ส่วนผู้ใช้ซึ่งแสดงจำนวนการติดตั้งแอปที่ไม่ซ้ำกัน ซึ่งดึงเทมเพลตการเปิดตัวในกลุ่มต่อไปนี้
- เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมาย และดึงข้อมูลมูลค่าการเปิดตัว
- กลุ่มควบคุม: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมาย และดึงค่าที่ไม่มีการเปลี่ยนแปลง
- เป้าหมาย: จํานวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับ เงื่อนไขที่คุณตั้งค่าในการเปิดตัว ซึ่งควรได้รับการเปิดตัวหรือค่าที่ไม่เปลี่ยนแปลง
ดูข้อมูลเพิ่มเติมได้ที่ ทำความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว
ส่วน Crashlytics และ Analytics ซึ่งแสดงข้อมูลการเปรียบเทียบ สําหรับกลุ่มที่เปิดใช้และกลุ่มควบคุม คุณสามารถกรองข้อมูลที่รวบรวมไว้สำหรับ24 ชั่วโมงที่ผ่านมา ตั้งแต่การเผยแพร่ครั้งล่าสุด หรือ7 วันที่ผ่านมา 24 ชั่วโมงที่ผ่านมา คือมุมมองเริ่มต้น
ผลการค้นหา Crashlytics รายการสำหรับการเปิดตัว
คุณจะเห็นจำนวนข้อขัดข้อง ข้อขัดข้องที่ไม่ร้ายแรง และ ANR ทั้งหมดที่เกิดขึ้นระหว่างการเปิดตัว หมวดหมู่ผลลัพธ์แต่ละหมวดหมู่จะแสดงกราฟแท่งที่ เปรียบเทียบยอดรวมดิบของผู้ใช้ที่เปิดใช้และกลุ่มควบคุมที่ตรงตาม เงื่อนไขของการเปิดตัว
- ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง และจำนวน ผู้ใช้ที่ไม่ซ้ำที่พบข้อขัดข้องสำหรับกลุ่มที่เปิดใช้และกลุ่มควบคุม
- ข้อผิดพลาดที่ไม่ร้ายแรง: แสดงจํานวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง จํานวน ผู้ใช้ที่ไม่ซ้ำที่พบข้อผิดพลาดที่ไม่ร้ายแรง
- ANR (แอป Android เท่านั้น): แสดงจํานวนและเปอร์เซ็นต์ของเหตุการณ์ "แอปพลิเคชันไม่ตอบสนอง" รวมถึงจํานวนผู้ใช้ที่ไม่ซ้ำ ที่พบเหตุการณ์ ANR อย่างน้อย 1 ครั้ง
หากต้องการดูข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง ให้คลิกดูเพิ่มเติมใน Crashlytics ซึ่งจะเปิดหน้า Crashlytics พร้อมตัวกรองที่ใช้งานอยู่สำหรับการเปิดตัวที่คุณตรวจสอบผลลัพธ์ ผลการเปิดตัวในหน้าCrashlyticsจะวัดผู้ใช้ทั้งหมดที่เคยเห็น ตัวแปรที่เกี่ยวข้อง เปิดใช้หรือกลุ่มควบคุม คุณเลือกดูข้อขัดข้องของกลุ่มควบคุม ข้อขัดข้องของกลุ่มที่เปิดใช้ หรือทั้ง 2 อย่างได้
ผลการค้นหา Google Analytics รายการสำหรับการเปิดตัว
Google Analyticsส่วนผลการเปิดตัวจะเปรียบเทียบAnalytics เมตริกสำหรับผู้ใช้ทั้งหมดที่เคยเห็นกลุ่มที่เปิดใช้หรือกลุ่มควบคุม โดยละเอียดและในมุมมองกราฟ โดยมีเมตริก 3 รายการดังนี้
- รายได้ทั้งหมด: แสดงยอดรวมของรายได้ รวมถึงรายได้จากโฆษณา และรายได้จากการซื้อเป็นดอลลาร์สหรัฐฯ คุณสามารถกรองผลลัพธ์เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
- Conversion ทั้งหมด: แสดงจํานวนดิบของผลรวมของเหตุการณ์ Conversion ทั้งหมด คุณกรองผลลัพธ์ตาม Conversion ที่ต้องการ ไฮไลต์ได้
- เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาในการมีส่วนร่วมทั้งหมดที่ผู้ใช้ ใช้กับหนึ่งในตัวแปรการเปิดตัว เวลาในการมีส่วนร่วมทั้งหมดจะแสดงในรูปแบบชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟแสดงข้อมูลจากช่วงเวลาที่คุณเลือกไว้เหนือส่วนCrashlytics