เกี่ยวกับการเปิดตัวการกำหนดค่าระยะไกล

คู่มือนี้จะให้ข้อมูลแนวคิดสำคัญเกี่ยวกับการเปิดตัวการกำหนดค่าระยะไกล เพื่อให้คุณทำสิ่งต่อไปนี้ได้

ทำความเข้าใจการเปิดตัวการเป็นสมาชิกกลุ่ม

เมื่อคุณสร้างการเปิดตัวใหม่และกำหนดเปอร์เซ็นต์ Firebase จะวางกลุ่มเป้าหมายที่มีขนาดเท่าๆ กันลงในกลุ่มควบคุมเพื่อให้ได้ผลลัพธ์ที่แม่นยำเมื่อเปรียบเทียบประสิทธิภาพของฟีเจอร์ที่เปิดใช้ ซึ่งจะส่งผลให้มีการจัดกลุ่มต่อไปนี้

  • เปิดใช้: อุปกรณ์ของผู้ใช้ที่กำหนดให้กับกลุ่มนี้จะได้รับค่าที่คุณกำหนดค่าในการเปิดตัว
  • การควบคุม: อุปกรณ์ของผู้ใช้ที่กำหนดให้กลุ่มนี้จะได้รับค่าที่ตนจะได้รับจากการกำหนดค่าระยะไกล ไม่ใช่มูลค่าการเปิดตัว
  • ไม่ได้กำหนด: อุปกรณ์ของผู้ใช้ในกลุ่มนี้จะได้รับค่าที่ได้รับจากการกำหนดค่าระยะไกล แต่ไม่นำไปใช้ในผลลัพธ์การเปรียบเทียบการเปิดตัว

กล่าวคือ หากคุณเปิดตัวกับผู้ใช้ 2% ผู้ใช้จะถูกเพิ่มลงในกลุ่ม "เปิดใช้" และผู้ใช้อีก 2% จะถูกเพิ่มลงในกลุ่มควบคุม ซึ่งใช้สำหรับการเปรียบเทียบ ผู้ใช้ 96% ยังคงอยู่ในสถานะ "ยังไม่ได้กำหนด"

วิธีนี้จะช่วยเปรียบเทียบประสิทธิภาพของผู้ใช้และอุปกรณ์ที่ได้รับมูลค่าการเปิดตัวกับผู้ใช้กับอุปกรณ์ที่ไม่ได้รับผลลัพธ์ และช่วยให้คุณตัดสินความสำเร็จหรือความล้มเหลวของการเปิดตัวในหน้าผลการเปิดตัวได้อย่างมีประสิทธิภาพ

การมอบหมายกลุ่มการเปิดตัวจะสอดคล้องกันในทุกระยะของการเปิดตัว กล่าวคือ หากคุณลดเปอร์เซ็นต์ลงเป็น 0% ผู้ใช้ทั้งหมดจะกลับไปรับค่าพารามิเตอร์ที่กำหนดไว้ในเทมเพลตการกำหนดค่าระยะไกล หากตัดสินใจเพิ่มเปอร์เซ็นต์การเปิดตัวในภายหลัง ผู้ใช้ที่เป็นส่วนหนึ่งของกลุ่ม "เปิดใช้" หรือ "ควบคุม" ก่อนหน้านี้จะกลับไปยังกลุ่มเดิมที่กำหนดไว้แต่แรก และจะได้รับค่าที่สอดคล้องกับกลุ่มเหล่านั้น

เมื่อคุณยืนยันว่ารุ่นของคุณประสบความสำเร็จและตัดสินใจที่จะเปิดตัวต่อผู้ใช้เป้าหมาย 100% โดยสมบูรณ์ Firebase จะไม่ใช้กลุ่มควบคุมอีกต่อไปและผู้ใช้และอุปกรณ์เป้าหมายทั้งหมดจะได้รับมูลค่าการเปิดตัว

กรณีที่ควรใช้การเปิดตัวเทียบกับการทดสอบ A/B

การเปิดตัวการกำหนดค่าระยะไกลและการทดสอบ A/B นั้นเหมาะกับกรณีการใช้งานที่แตกต่างกันเล็กน้อยและสามารถใช้ในลักษณะที่สอดคล้องกัน

การเปิดตัวคือการทยอยเปิดตัว และมักจะใช้ในการเปิดตัวฟีเจอร์ใหม่แก่ผู้ใช้บางกลุ่ม คุณอาจต้องกำหนดเป้าหมายผู้ใช้ในประเทศใดประเทศหนึ่ง หรือใช้เวอร์ชันที่เจาะจงของแอป ใช้การเปิดตัวเพื่อลดความเสี่ยง เพื่อทดสอบฟีเจอร์ใหม่ในสภาพแวดล้อมจริงพร้อมการควบคุมที่แน่นหนา เพื่อให้คุณได้เห็นประสิทธิภาพของฟีเจอร์ นอกจากนี้ คุณยังสามารถตรวจสอบประสิทธิภาพของบริการแบ็กเอนด์ด้วยภาระงานที่เพิ่มขึ้นของฟีเจอร์ใหม่และการใช้งานโดยประมาณ เพื่อให้แน่ใจว่าการเปลี่ยนแปลงจะปรับขนาดได้ก่อนที่จะเผยแพร่ไปยังกลุ่มเป้าหมายในวงกว้างขึ้น

การเปิดตัวเป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถานการณ์ที่คุณกำลังปรับใช้ฟีเจอร์ใหม่ที่มีการเปลี่ยนแปลงฟังก์ชันการทำงานไปอย่างมาก มีการเปลี่ยนแปลงที่อาจทำให้เกิดผลลัพธ์ที่คาดเดาไม่ได้ หรือการเปลี่ยนแปลงที่อาจส่งผลต่อโครงสร้างพื้นฐานแบ็กเอนด์ บริการ หรือ API ภายนอก

การทดสอบ A/B ช่วยให้คุณนำเสนอฟีเจอร์หรือองค์ประกอบแอปได้หลายเวอร์ชัน เช่น อัปเดตรูปลักษณ์และความรู้สึกของ UI เปลี่ยนข้อความโฆษณา การอัปเดตความยากของระดับเกม จากนั้นแสดงรูปแบบต่างๆ ต่อผู้ใช้เพื่อดูว่าตัวเลือกใดสร้างผลลัพธ์ที่ดีกว่าโดยพิจารณาจากเมตริกที่เลือก (เช่น การมีส่วนร่วมของผู้ใช้ การคลิกโฆษณา และรายได้)

ใช้การทดสอบ A/B เพื่อการตัดสินใจ เพิ่มประสิทธิภาพ และ ทำความเข้าใจความต้องการของผู้ใช้จากข้อมูล เหมาะสำหรับสถานการณ์ที่คุณมีตัวเลือกที่เปรียบเทียบได้หลายรายการและเป้าหมายที่เฉพาะเจาะจงมากๆ ตัวอย่างเช่น การทดสอบ A/B เหมาะสำหรับการเปลี่ยนแปลงจุดที่ต้องการปรับเปลี่ยนแอปเพื่อปรับปรุงเมตริกที่เฉพาะเจาะจง เช่น การทดสอบว่าตำแหน่งโฆษณาแบนเนอร์ใดส่งผลให้ได้รับคลิกมากกว่ากัน

นอกจากนี้ ยังควรรวมการเปิดตัวการกำหนดค่าระยะไกลและการทดสอบ A/B ภายในกลยุทธ์ที่ครอบคลุมด้วย โดยขั้นแรก สร้างการทดสอบ A/B กับกลุ่มผู้ใช้แบบจํากัดเพื่อหาตัวแปรที่จะให้ผลลัพธ์ที่ดีที่สุดสำหรับเมตริกหลัก จากนั้น หลังจากที่การทดสอบ A/B ได้ระบุผู้นำแล้ว ให้สร้างการเปิดตัวด้วยตัวแปรที่ชนะ ตรวจสอบความเสถียรและเมตริกหลักเมื่อเพิ่มจำนวนผู้ใช้ที่เห็นโฆษณา และเปิดตัวเป็น 100% หลังจากที่คุณมั่นใจในประสิทธิภาพแล้ว

ทําความเข้าใจผลการเปิดตัว

หลังจากเผยแพร่การเปิดตัวแล้ว คุณน่าจะเริ่มเห็นผลลัพธ์แทบจะในทันที

คุณสามารถดูผลลัพธ์ได้หลายวิธีดังนี้

  • จากหน้าพารามิเตอร์ ให้ขยายพารามิเตอร์ที่คุณกำหนดค่าไว้สำหรับการเปิดตัว และคลิกดูผลลัพธ์ใต้การเปิดตัว
  • จากหน้าการเปิดตัว ให้คลิกชื่อการเปิดตัว

ตัวเลือกแอปที่ด้านบนของหน้าผลลัพธ์จะช่วยให้คุณเลือกมุมมองสำหรับแอปที่เฉพาะเจาะจงได้ ผลลัพธ์จะแบ่งออกเป็นหลายส่วน ดังนี้

  • ส่วนสรุป ซึ่งแสดงเปอร์เซ็นต์การเปิดตัวที่กำหนดค่าไว้ และมอบความสามารถในการย้อนกลับหรือแก้ไขการเปิดตัวได้ เมื่อขยาย แท็บจะแสดงภาพรวมรายละเอียดการกำหนดค่าของการเปิดตัวและประวัติการเปลี่ยนแปลง

  • ส่วนผู้ใช้ ซึ่งจะแสดงจำนวนการติดตั้งแอปที่ไม่ซ้ำซึ่งดึงข้อมูลเทมเพลตการเปิดตัวในกลุ่มต่อไปนี้

    • เปิดใช้: จำนวนอินสแตนซ์ของแอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าการเปิดตัวแล้ว
    • การควบคุม: จำนวนอินสแตนซ์แอปที่ตรงกับเงื่อนไขการเปิดตัวเป้าหมายและดึงข้อมูลค่าที่ไม่เปลี่ยนแปลง
    • เป้าหมาย: จำนวนอินสแตนซ์ทั้งหมดโดยประมาณที่ตรงกับเงื่อนไขที่คุณกำหนดในการเปิดตัว ซึ่งควรได้รับการเปิดตัวหรือค่าที่ไม่เปลี่ยนแปลง

    ดูข้อมูลเพิ่มเติมได้ที่ทำความเข้าใจการเป็นสมาชิกกลุ่มการเปิดตัว

  • ส่วน Crashlytics และ Analytics ซึ่งแสดงข้อมูลการเปรียบเทียบสำหรับกลุ่มเปิดใช้และกลุ่มควบคุม คุณจะกรองข้อมูลที่รวบรวมไว้ในช่วง 24 ชั่วโมงที่ผ่านมา ตั้งแต่การเผยแพร่ครั้งล่าสุด หรือ 7 วันที่ผ่านมาได้ มุมมองเริ่มต้น คือ 24 ชั่วโมงที่ผ่านมา

ผลลัพธ์ของ Crashlytics สำหรับการเปิดตัว

คุณดูจำนวนข้อขัดข้อง ข้อขัดข้องที่ไม่ร้ายแรง และ ANR ทั้งหมดที่เกิดขึ้นระหว่างการเปิดตัวได้ ผลการค้นหาแต่ละหมวดหมู่จะแสดงกราฟแท่งที่เปรียบเทียบยอดรวมดิบของผู้ใช้ที่มีสถานะเปิดใช้และกลุ่มควบคุมที่มีคุณสมบัติตรงตามเงื่อนไขของการเปิดตัว

  • ข้อขัดข้อง: แสดงจำนวนและเปอร์เซ็นต์ของข้อขัดข้อง รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำที่พบข้อขัดข้องสำหรับกลุ่ม "เปิดใช้" และ "ควบคุม"
  • ไม่ร้ายแรง: แสดงจำนวนและเปอร์เซ็นต์ของข้อผิดพลาดที่ไม่ร้ายแรง จำนวนผู้ใช้ที่ไม่ซ้ำซึ่งพบข้อผิดพลาดที่ไม่ร้ายแรง
  • ANR (แอป Android เท่านั้น): แสดงจำนวนและเปอร์เซ็นต์ของเหตุการณ์ "แอปพลิเคชันไม่ตอบสนอง" รวมถึงจำนวนผู้ใช้ที่ไม่ซ้ำ ซึ่งพบเหตุการณ์ ANR อย่างน้อย 1 รายการ

หากต้องการดูข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับข้อขัดข้อง ให้คลิกดูเพิ่มเติมใน Crashlytics การดำเนินการนี้จะเปิดหน้า Crashlytics ที่มีตัวกรองที่ใช้งานอยู่สำหรับการเปิดตัวที่มีผลลัพธ์ที่กำลังตรวจสอบ ผลลัพธ์การเปิดตัวในหน้า Crashlytics จะวัดผู้ใช้ทั้งหมดที่เคยเห็นตัวแปรที่เกี่ยวข้อง ซึ่งได้แก่ เปิดใช้ หรือ Control คุณสามารถเลือกดูข้อขัดข้องของกลุ่มควบคุม ข้อขัดข้องของกลุ่มที่เปิดใช้ หรือทั้งสองอย่าง

ผลลัพธ์ของ Google Analytics สำหรับการเปิดตัว

ส่วนผลการเปิดตัวของ Google Analytics จะเปรียบเทียบเมตริก Analytics สำหรับผู้ใช้ทั้งหมดที่เคยเห็นกลุ่ม "เปิดใช้" หรือ "ควบคุม" อย่างละเอียดและในมุมมองกราฟ มาพร้อมเมตริก 3 แบบ ดังนี้

  • รายได้ทั้งหมด: แสดงยอดรวมของรายได้ รวมทั้งรายได้จากโฆษณาและรายได้จากการซื้อเป็นสกุลเงิน USD คุณสามารถกรองผลลัพธ์เพื่อแสดงผลลัพธ์สำหรับรายได้จากโฆษณาหรือรายได้จากการซื้อโดยเฉพาะ
  • Conversion ทั้งหมด: แสดงจำนวนดิบของผลรวมของเหตุการณ์ Conversion ทั้งหมด คุณสามารถกรองผลลัพธ์ตาม Conversion ที่คุณต้องการไฮไลต์
  • เวลาในการมีส่วนร่วมทั้งหมด: แสดงเวลาในการมีส่วนร่วมทั้งหมดที่ผู้ใช้ใช้กับตัวแปรการเปิดตัวเวอร์ชันใดเวอร์ชันหนึ่ง เวลาในการมีส่วนร่วมทั้งหมดจะแสดง ในรูปแบบ ชั่วโมง:นาที:วินาที เช่น 01:31:28 กราฟจะแสดงข้อมูลจากระยะเวลาที่คุณเลือกเหนือส่วน Crashlytics

ขั้นตอนถัดไป