สร้างการทดสอบการกำหนดค่าระยะไกลของ Firebase ด้วยการทดสอบ A/B

เมื่อคุณใช้ Firebase Remote Config เพื่อปรับใช้การตั้งค่าสำหรับแอปพลิเคชันที่มีฐานผู้ใช้ที่ใช้งานอยู่ คุณต้องการให้แน่ใจว่าคุณทำถูกต้อง คุณสามารถใช้การทดสอบ A/B Testing เพื่อระบุสิ่งต่อไปนี้ได้ดีที่สุด:

  • วิธีที่ดีที่สุดในการใช้คุณสมบัติเพื่อเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้ บ่อยครั้งที่นักพัฒนาแอปไม่ได้เรียนรู้ว่าผู้ใช้ไม่ชอบฟีเจอร์ใหม่หรือประสบการณ์ผู้ใช้ที่อัปเดตจนกว่าคะแนนของแอปใน App Store จะลดลง การทดสอบ A/B สามารถช่วยวัดได้ว่าผู้ใช้ของคุณชอบฟีเจอร์รูปแบบใหม่ๆ หรือไม่ หรือพวกเขาต้องการแอปที่มีอยู่หรือไม่ นอกจากนี้ การทำให้ผู้ใช้ส่วนใหญ่อยู่ในกลุ่มพื้นฐานช่วยให้แน่ใจว่าฐานผู้ใช้ส่วนใหญ่ของคุณสามารถใช้แอปของคุณต่อไปได้โดยไม่ประสบกับการเปลี่ยนแปลงพฤติกรรมหรือรูปลักษณ์ของแอปจนกว่าการทดสอบจะสิ้นสุดลง
  • วิธีที่ดีที่สุดในการเพิ่มประสิทธิภาพประสบการณ์ผู้ใช้สำหรับเป้าหมายทางธุรกิจ บางครั้งคุณกำลังใช้การเปลี่ยนแปลงผลิตภัณฑ์เพื่อเพิ่มเมตริก เช่น รายได้หรือการรักษาผู้ใช้ให้สูงสุด ด้วยการทดสอบ A/B คุณจะกำหนดวัตถุประสงค์ทางธุรกิจของคุณ จากนั้น Firebase จะทำการวิเคราะห์ทางสถิติเพื่อพิจารณาว่าตัวแปรมีประสิทธิภาพเหนือกว่าเกณฑ์พื้นฐานสำหรับวัตถุประสงค์ที่คุณเลือกหรือไม่

หากต้องการทดสอบ A/B ตัวแปรฟีเจอร์ด้วยพื้นฐาน ให้ทำดังต่อไปนี้:

  1. สร้างการทดลองของคุณ
  2. ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ
  3. จัดการการทดสอบของคุณ

สร้างการทดลอง

การทดลองการกำหนดค่าระยะไกลทำให้คุณสามารถประเมินตัวแปรหลายรายการใน พารามิเตอร์การกำหนดค่าระยะไกล ตั้งแต่ 1 รายการขึ้นไป

  1. ลงชื่อเข้าใช้ คอนโซล Firebase และตรวจสอบว่าได้เปิดใช้ Google Analytics ในโปรเจ็กต์ของคุณแล้ว เพื่อให้การทดสอบเข้าถึงข้อมูล Analytics ได้

    หากคุณไม่ได้เปิดใช้งาน Google Analytics เมื่อสร้างโปรเจ็กต์ คุณสามารถเปิดใช้งานได้ในแท็บ การรวมระบบ ซึ่งคุณสามารถเข้าถึงได้โดยใช้ > การตั้งค่าโปรเจ็กต์ ใน คอนโซล Firebase

  2. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B

  3. คลิก สร้างการทดสอบ จากนั้นเลือก การกำหนดค่าระยะไกล เมื่อได้รับแจ้งเกี่ยวกับบริการที่คุณต้องการทดสอบ

  4. ป้อน ชื่อ และ คำอธิบาย เพิ่มเติมสำหรับการทดสอบของคุณ และคลิก ถัดไป

  5. กรอกข้อมูลในช่อง การกำหนดเป้าหมาย ขั้นแรกให้เลือกแอปที่ใช้การทดสอบของคุณ คุณยังสามารถกำหนดเป้าหมายผู้ใช้กลุ่มย่อยของคุณเพื่อเข้าร่วมการทดสอบของคุณได้โดยการคลิก และ จากนั้นเลือกตัวเลือกจากรายการต่อไปนี้:

    • เวอร์ชัน: แอปของคุณอย่างน้อย 1 เวอร์ชัน
    • หมายเลขบิลด์: รหัสเวอร์ชันของแอป
    • ภาษา: ภาษาและสถานที่อย่างน้อยหนึ่งภาษาที่ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • ประเทศ/ภูมิภาค: อย่างน้อย 1 ประเทศหรือภูมิภาคสำหรับการเลือกผู้ใช้ที่ควรรวมไว้ในการทดสอบ
    • ผู้ชมผู้ใช้: ผู้ชม Analytics ที่ใช้ในการกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
    • พร็อพเพอร์ตี้ผู้ใช้: พร็อพเพอร์ตี้ผู้ใช้ Analytics อย่างน้อย 1 รายการสำหรับการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ

    • เปิดครั้งแรก: กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเปิดแอปของคุณ

      การกำหนดเป้าหมายผู้ใช้ตามเวลาเปิดครั้งแรกจะใช้ได้หลังจากที่คุณเลือกแอป Android หรือ iOS ได้รับการสนับสนุนโดย Remote Config SDK เวอร์ชันต่อไปนี้: Apple Platform SDK v9.0.0+ และ Android SDK v21.1.1+ (Firebase BoM v30.3.0+)

      จะต้องเปิดใช้งานการวิเคราะห์บนไคลเอนต์ระหว่างเหตุการณ์เปิดครั้งแรกด้วย

  6. กำหนด เปอร์เซ็นต์ของผู้ใช้เป้าหมาย: ป้อนเปอร์เซ็นต์ของฐานผู้ใช้แอปของคุณที่ตรงกับเกณฑ์ที่ตั้งไว้ภายใต้ ผู้ใช้เป้าหมาย ที่คุณต้องการแบ่งเท่าๆ กันระหว่างเส้นฐานและตัวแปรอย่างน้อย 1 ตัวในการทดสอบของคุณ ซึ่งอาจเป็นเปอร์เซ็นต์ใดก็ได้ระหว่าง 0.01% ถึง 100% ผู้ใช้จะได้รับการสุ่มให้กับการทดสอบแต่ละครั้ง รวมถึงการทดสอบที่ซ้ำกัน

  7. (ไม่บังคับ) ตั้งค่าเหตุการณ์การเปิดใช้งานเพื่อให้แน่ใจว่าเฉพาะข้อมูลจากผู้ใช้ที่ทริกเกอร์เหตุการณ์ Analytics บางอย่างเป็นครั้งแรกเท่านั้นที่จะนับในการทดสอบของคุณ โปรดทราบว่าผู้ใช้ ทั้งหมด ที่ตรงกับพารามิเตอร์การกำหนดเป้าหมายของคุณจะได้รับค่าการทดลองการกำหนดค่าระยะไกล แต่เฉพาะผู้ที่ทำให้เกิดเหตุการณ์การเปิดใช้งานเท่านั้นที่จะรวมอยู่ในผลการทดสอบของคุณ

    เพื่อให้แน่ใจว่าการทดสอบถูกต้อง ตรวจสอบให้แน่ใจว่าเหตุการณ์ที่คุณเลือกเกิดขึ้น หลังจากที่ แอปของคุณเปิดใช้งานค่าการกำหนดค่าที่ดึงข้อมูลมา นอกจากนี้ เหตุการณ์ต่อไปนี้ไม่สามารถนำมาใช้ได้ เนื่องจากเหตุการณ์เหล่านี้จะเกิดขึ้นก่อนที่จะเปิดใช้งานค่าที่ดึงมาเสมอ:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. สำหรับ เป้าหมาย ของการทดสอบ ให้เลือกเมตริกหลักที่จะติดตาม และเพิ่มเมตริกเพิ่มเติมที่คุณต้องการติดตามจากรายการ ซึ่งรวมถึงวัตถุประสงค์ในตัว (การซื้อ รายได้ การรักษาผู้ใช้ที่ปราศจากข้อขัดข้อง ฯลฯ) เหตุการณ์ Conversion ของ Analytics และเหตุการณ์ Analytics อื่นๆ เมื่อเสร็จแล้วให้คลิก ถัดไป

  9. ในส่วน ตัวแปร ให้เลือกพื้นฐานและอย่างน้อยหนึ่งตัวแปรสำหรับการทดสอบ ใช้รายการ เลือกหรือสร้างใหม่ เพื่อเพิ่มพารามิเตอร์อย่างน้อย 1 รายการเพื่อทำการทดสอบ คุณสามารถสร้างพารามิเตอร์ที่ไม่เคยใช้ในคอนโซล Firebase มาก่อนได้ แต่ต้องมีอยู่ในแอปของคุณจึงจะมีผลใดๆ คุณสามารถทำซ้ำขั้นตอนนี้เพื่อเพิ่มพารามิเตอร์หลายตัวให้กับการทดสอบของคุณ

  10. (ไม่บังคับ) หากต้องการเพิ่มตัวแปรมากกว่าหนึ่งรายการให้กับการทดสอบของคุณ คลิก เพิ่มตัวแปรอื่น

  11. เปลี่ยนพารามิเตอร์อย่างน้อย 1 รายการสำหรับตัวแปรเฉพาะ พารามิเตอร์ที่ไม่เปลี่ยนแปลงจะเหมือนกันสำหรับผู้ใช้ที่ไม่รวมอยู่ในการทดสอบ

  12. ขยาย น้ำหนักรูปแบบ เพื่อดูหรือเปลี่ยนแปลงน้ำหนักรูปแบบสำหรับการทดสอบ โดยค่าเริ่มต้น แต่ละรูปแบบจะมีการถ่วงน้ำหนักเท่ากัน โปรดทราบว่าน้ำหนักที่ไม่สม่ำเสมออาจเพิ่มเวลาในการรวบรวมข้อมูล และ ไม่สามารถเปลี่ยนแปลงน้ำหนักได้หลังจากที่การทดสอบเริ่มต้นขึ้น

  13. คลิก ตรวจสอบ เพื่อบันทึกการทดสอบของคุณ

คุณได้รับอนุญาตให้ทำการทดลองได้สูงสุด 300 รายการต่อโปรเจ็กต์ ซึ่งอาจประกอบด้วยการทดลองที่ทำงานอยู่สูงสุด 24 รายการ ที่เหลือเป็นแบบร่างหรือเสร็จสมบูรณ์

ตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ

สำหรับการติดตั้ง Firebase แต่ละรายการ คุณสามารถเรียกข้อมูลโทเค็นการตรวจสอบสิทธิ์การติดตั้งที่เกี่ยวข้องได้ คุณสามารถใช้โทเค็นนี้เพื่อทดสอบตัวแปรการทดสอบที่เฉพาะเจาะจงบนอุปกรณ์ทดสอบที่ติดตั้งแอปของคุณไว้ หากต้องการตรวจสอบการทดสอบของคุณบนอุปกรณ์ทดสอบ ให้ทำดังต่อไปนี้:

  1. รับโทเค็นการตรวจสอบสิทธิ์การติดตั้งดังต่อไปนี้:

    สวิฟท์

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
  if let error = error {
    print("Error fetching token: \(error)")
    return
  }
  guard let result = result else { return }
  print("Installation auth token: \(result.authToken)")
})

    วัตถุประสงค์-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    ซี++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    ความสามัคคี

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. บนแถบนำทาง คอนโซล Firebase คลิก การทดสอบ A/B
  3. คลิก แบบร่าง (และ/หรือ การเรียกใช้ การทดสอบการกำหนดค่าระยะไกล) วางเมาส์เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก จัดการอุปกรณ์ทดสอบ
  4. ป้อนโทเค็นการตรวจสอบสิทธิ์การติดตั้งสำหรับอุปกรณ์ทดสอบ และเลือกตัวแปรการทดสอบที่จะส่งไปยังอุปกรณ์ทดสอบนั้น
  5. เรียกใช้แอปและยืนยันว่าได้รับตัวแปรที่เลือกบนอุปกรณ์ทดสอบ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการติดตั้ง Firebase โปรดดู ที่จัดการการติดตั้ง Firebase

จัดการการทดสอบของคุณ

ไม่ว่าคุณจะสร้างการทดสอบด้วยการกำหนดค่าระยะไกล เครื่องมือสร้างการแจ้งเตือน หรือการส่งข้อความในแอป Firebase คุณจะสามารถตรวจสอบและเริ่มการทดสอบ ตรวจสอบการทดสอบของคุณในขณะที่กำลังทำงาน และเพิ่มจำนวนผู้ใช้ที่รวมอยู่ในการทดสอบที่กำลังดำเนินการอยู่

เมื่อการทดสอบเสร็จสิ้น คุณจะจดบันทึกการตั้งค่าที่เวอร์ชันที่ชนะใช้ จากนั้นจึงเปิดตัวการตั้งค่าเหล่านั้นให้กับผู้ใช้ทุกคน หรือคุณสามารถทำการทดสอบอื่นได้

เริ่มการทดสอบ

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก แบบร่าง จาก นั้นคลิกชื่อการทดสอบของคุณ
  3. หากต้องการตรวจสอบว่าแอปของคุณมีผู้ใช้ที่จะรวมอยู่ในการทดสอบ ให้ขยายรายละเอียดฉบับร่างและตรวจสอบตัวเลขที่มากกว่า 0% ในส่วน การกำหนดเป้าหมายและการจัดจำหน่าย (เช่น 1% ของผู้ใช้ที่ตรงกับเกณฑ์ )
  4. หากต้องการเปลี่ยนการทดสอบของคุณ คลิก แก้ไข
  5. หากต้องการเริ่มต้นการทดสอบของคุณ คลิก เริ่มการทดสอบ คุณสามารถทำการทดลองได้สูงสุด 24 รายการต่อโปรเจ็กต์ในแต่ละครั้ง

ติดตามการทดลอง

เมื่อการทดสอบดำเนินไประยะหนึ่งแล้ว คุณสามารถตรวจสอบความคืบหน้าและดูว่าผลลัพธ์ของคุณเป็นอย่างไรสำหรับผู้ใช้ที่เข้าร่วมการทดสอบจนถึงตอนนี้

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B

  2. คลิก กำลังทำงาน จาก นั้นคลิกหรือค้นหาชื่อการทดสอบของคุณ ในหน้านี้ คุณสามารถดูสถิติต่างๆ ที่สังเกตและจำลองได้เกี่ยวกับการทดสอบที่ทำงานอยู่ ซึ่งรวมถึงข้อมูลต่อไปนี้:

    • % ความแตกต่างจากเกณฑ์พื้นฐาน : การวัดการปรับปรุงเมตริกสำหรับตัวแปรที่กำหนดเมื่อเปรียบเทียบกับเกณฑ์พื้นฐาน คำนวณโดยการเปรียบเทียบช่วงค่าของตัวเลือกสินค้ากับช่วงค่าของข้อมูลพื้นฐาน
    • ความน่าจะเป็นที่จะสูงกว่าเส้นพื้นฐาน : ความน่าจะเป็นโดยประมาณที่ตัวแปรที่กำหนดจะมากกว่าเส้นพื้นฐานสำหรับเมตริกที่เลือก
    • observed_metric ต่อผู้ใช้ : จากผลการทดสอบ นี่คือช่วงที่คาดการณ์ว่าค่าเมตริกจะตกเมื่อเวลาผ่านไป
    • ผลรวม observed_metric : ค่าสะสมที่สังเกตได้สำหรับเส้นพื้นฐานหรือตัวแปร ค่านี้ใช้เพื่อวัดว่ารูปแบบการทดสอบแต่ละรายการทำงานได้ดีเพียงใด และใช้ในการคำนวณ การปรับปรุง ช่วงของค่า ความน่า จะเป็นที่จะผ่านเกณฑ์พื้นฐาน และ ความน่าจะเป็นที่จะเป็นตัวแปรที่ดีที่สุด คอลัมน์นี้อาจมีป้ายกำกับว่า "ระยะเวลาต่อผู้ใช้" "รายได้ต่อผู้ใช้" "อัตราการรักษา" หรือ "อัตรา Conversion" ทั้งนี้ขึ้นอยู่กับเมตริกที่กำลังวัด

  3. หลังจากการทดสอบของคุณดำเนินไประยะหนึ่ง (อย่างน้อย 7 วันสำหรับ FCM และการรับส่งข้อความในแอป หรือ 14 วันสำหรับการกำหนดค่าระยะไกล) ข้อมูลในหน้านี้จะระบุว่าตัวแปรใด (หากมี) ที่เป็น "ผู้นำ" การวัดบางอย่างจะมาพร้อมกับแผนภูมิแท่งที่แสดงข้อมูลในรูปแบบภาพ

เปิดตัวการทดสอบให้กับผู้ใช้ทุกคน

หลังจากที่การทดสอบดำเนินไปนานพอที่จะทำให้คุณมี "ผู้นำ" หรือรูปแบบที่ชนะสำหรับเมตริกเป้าหมายของคุณ คุณจะเผยแพร่การทดสอบให้กับผู้ใช้ได้ 100% ซึ่งจะทำให้คุณสามารถเลือกตัวแปรที่จะเผยแพร่ให้กับผู้ใช้ทุกคนได้นับจากนี้ แม้ว่าการทดสอบของคุณไม่ได้สร้างผู้ชนะที่ชัดเจน คุณยังคงเลือกที่จะเผยแพร่ตัวแปรให้กับผู้ใช้ทั้งหมดของคุณได้

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ กำลังทำงานอยู่ คลิกการทดสอบที่คุณต้องการเผยแพร่ต่อผู้ใช้ทั้งหมด คลิกเมนูตามบริบท ( ) เปิดตัวรูปแบบต่างๆ

  3. เปิดตัวการทดสอบของคุณกับผู้ใช้ทุกคนโดยทำอย่างใดอย่างหนึ่งต่อไปนี้:

    • สำหรับการทดสอบที่ใช้ ตัวเขียนการแจ้งเตือน ให้ใช้กล่อง โต้ตอบข้อความเปิดตัว เพื่อส่งข้อความไปยังผู้ใช้เป้าหมายที่เหลือซึ่งไม่ได้เป็นส่วนหนึ่งของการทดสอบ
    • สำหรับการทดลอง การกำหนดค่าระยะไกล ให้เลือกตัวแปรเพื่อกำหนดค่าพารามิเตอร์การกำหนดค่าระยะไกลที่จะอัปเดต เกณฑ์การกำหนดเป้าหมายที่กำหนดไว้เมื่อสร้างการทดสอบจะถูกเพิ่มเป็นเงื่อนไขใหม่ในเทมเพลตของคุณ เพื่อให้แน่ใจว่าการเปิดตัวจะส่งผลต่อผู้ใช้ที่เป็นเป้าหมายของการทดสอบเท่านั้น หลังจากคลิก ตรวจสอบในการกำหนดค่าระยะไกล เพื่อตรวจสอบการเปลี่ยนแปลง ให้คลิก เผยแพร่การเปลี่ยนแปลง เพื่อดำเนินการเปิดตัวให้เสร็จสิ้น
    • สำหรับการทดสอบ การรับส่งข้อความในแอป ให้ใช้กล่องโต้ตอบเพื่อพิจารณาว่าเวอร์ชันใดที่ต้องเปิดตัวเป็นแคมเปญการรับส่งข้อความในแอปแบบสแตนด์อโลน เมื่อเลือกแล้ว คุณจะถูกนำไปที่หน้าจอเขียนของ FIAM เพื่อทำการเปลี่ยนแปลง (หากจำเป็น) ก่อนเผยแพร่

ขยายการทดสอบ

หากคุณพบว่าการทดสอบดึงดูดผู้ใช้สำหรับการทดสอบ A/B ไม่เพียงพอต่อการประกาศผู้นำ คุณสามารถเพิ่มการกระจายการทดสอบเพื่อเข้าถึงฐานผู้ใช้ของแอปในเปอร์เซ็นต์ที่มากขึ้น

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. เลือกการทดสอบที่ทำงานอยู่ที่คุณต้องการแก้ไข
  3. ใน ภาพรวมการทดสอบ คลิกเมนูบริบท ( ) จากนั้นคลิก แก้ไขการทดสอบที่ทำงานอยู่
  4. กล่องโต้ตอบ การกำหนดเป้าหมาย จะแสดงตัวเลือกในการเพิ่มเปอร์เซ็นต์ของผู้ใช้ที่อยู่ในการทดสอบที่ทำงานอยู่ เลือกตัวเลขที่มากกว่าเปอร์เซ็นต์ปัจจุบันแล้วคลิก เผยแพร่ การทดสอบจะถูกผลักออกไปตามเปอร์เซ็นต์ของผู้ใช้ที่คุณระบุ

ทำซ้ำหรือหยุดการทดสอบ

  1. ในส่วน Engage ของเมนูการนำทาง คอนโซล Firebase ให้คลิก การทดสอบ A/B
  2. คลิก เสร็จสมบูรณ์ หรือ กำลังทำงาน อยู่ วางตัวชี้ไว้เหนือการทดสอบของคุณ คลิกเมนูบริบท ( ) จากนั้นคลิก ทำซ้ำการทดสอบ หรือ หยุดการทดสอบ

การกำหนดเป้าหมายผู้ใช้

คุณสามารถกำหนดเป้าหมายผู้ใช้ที่จะรวมไว้ในการทดสอบของคุณโดยใช้เกณฑ์การกำหนดเป้าหมายผู้ใช้ต่อไปนี้

เกณฑ์การกำหนดเป้าหมาย ผู้ดำเนินการ มูลค่า บันทึก
เวอร์ชัน ประกอบด้วย,
ไม่มี
ตรงทุกประการ
มีนิพจน์ทั่วไป		 ป้อนค่าสำหรับเวอร์ชันแอปอย่างน้อย 1 เวอร์ชันที่คุณต้องการรวมไว้ในการทดสอบ

เมื่อใช้ตัว ดำเนินการประกอบด้วย , ไม่มี หรือ ตรงกับ ตัวดำเนินการทุกประการ คุณสามารถระบุรายการค่าที่คั่นด้วยเครื่องหมายจุลภาคได้

เมื่อใช้ตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 ได้ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น สิ้นสุด หรือทั้งหมดของสตริงเป้าหมายได้

ผู้ชมของผู้ใช้ รวมถึงทั้งหมด
ประกอบด้วยอย่างน้อยหนึ่งรายการ
ไม่รวมทั้งหมด
ไม่รวมอย่างน้อยหนึ่งรายการ		 เลือกผู้ชม Analytics อย่างน้อยหนึ่งรายการเพื่อกำหนดเป้าหมายผู้ใช้ที่อาจรวมอยู่ในการทดสอบของคุณ การทดสอบบางอย่างที่กำหนดเป้าหมายผู้ชม Google Analytics อาจต้องใช้เวลาสองสามวันในการรวบรวมข้อมูล เนื่องจากการทดสอบเหล่านี้ขึ้นอยู่กับ เวลาในการตอบสนองในการประมวลผลข้อมูล ของ Analytics คุณมีแนวโน้มที่จะเผชิญกับความล่าช้านี้กับผู้ใช้ใหม่ ซึ่งโดยทั่วไปจะลงทะเบียนเป็นผู้ชมที่มีคุณสมบัติตามที่กำหนดภายใน 24-48 ชั่วโมงหลังการสร้าง หรือสำหรับ ผู้ชมที่สร้างขึ้นล่าสุด

สำหรับการกำหนดค่าระยะไกล หมายความว่าแม้ว่าผู้ใช้จะมีคุณสมบัติเหมาะสมสำหรับผู้ชมในทางเทคนิค หาก Analytics ยังไม่ได้เพิ่มผู้ใช้ไปยังผู้ชมเมื่อมีการดำเนินการ `fetchAndActivate()` ผู้ใช้จะไม่ถูกรวมไว้ในการทดสอบ

คุณสมบัติผู้ใช้ สำหรับข้อความ:
ประกอบด้วย,
ไม่มี
ตรงทุกประการ
มีนิพจน์ทั่วไป

สำหรับตัวเลข:
<, ≤, =, ≥, >		 พร็อพเพอร์ตี้ผู้ใช้ของ Analytics ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ โดยมีตัวเลือกมากมายในการเลือกค่าพร็อพเพอร์ตี้ผู้ใช้

บนไคลเอนต์ คุณสามารถตั้งค่าสตริงสำหรับคุณสมบัติผู้ใช้เท่านั้น สำหรับเงื่อนไขที่ใช้ตัวดำเนินการตัวเลข บริการการกำหนดค่าระยะไกลจะแปลงค่าของคุณสมบัติผู้ใช้ที่เกี่ยวข้องให้เป็นจำนวนเต็ม/ทศนิยม		 เมื่อใช้ตัวดำเนินการ regex คุณสามารถสร้างนิพจน์ทั่วไปในรูปแบบ RE2 ได้ นิพจน์ทั่วไปของคุณสามารถจับคู่สตริงเวอร์ชันเป้าหมายทั้งหมดหรือบางส่วนได้ คุณยังสามารถใช้จุดยึด ^ และ $ เพื่อจับคู่จุดเริ่มต้น สิ้นสุด หรือทั้งหมดของสตริงเป้าหมายได้
ประเทศ/ภูมิภาค ไม่มี อย่างน้อย 1 ประเทศหรือภูมิภาคที่ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
ภาษา ไม่มี ภาษาและสถานที่อย่างน้อยหนึ่งรายการที่ใช้ในการเลือกผู้ใช้ที่อาจรวมอยู่ในการทดสอบ
เปิดครั้งแรก ก่อน
หลังจาก

กำหนดเป้าหมายผู้ใช้ตามครั้งแรกที่พวกเขาเปิดแอปของคุณ:

  • เลือก ผู้ใช้ใหม่ เพื่อกำหนดเป้าหมายผู้ใช้ที่เปิดแอปของคุณเป็นคนแรกหลังจากวันที่และเวลาที่ระบุในอนาคต
  • เลือก ช่วงเวลา เพื่อกำหนดเป้าหมายผู้ใช้ที่เปิดแอปของคุณเป็นครั้งแรกภายในช่วงก่อนหรือหลังวันที่และเวลาที่คุณระบุ รวมเงื่อนไข ก่อน และ หลัง เพื่อกำหนดเป้าหมายผู้ใช้ภายในช่วงเวลาที่กำหนด

การกำหนดเป้าหมายผู้ใช้ด้วยการเปิดครั้งแรกจะใช้งานได้หลังจากที่คุณเลือกแอป Android หรือ iOS ขณะนี้ได้รับการสนับสนุนโดย Remote Config SDK เวอร์ชันต่อไปนี้: แพลตฟอร์ม Apple SDK v9.0.0+ และ Android SDK v21.1.1+ (Firebase BoM v30.3.0+)

จะต้องเปิดใช้งานการวิเคราะห์บนไคลเอนต์ระหว่างเหตุการณ์เปิดครั้งแรกด้วย

ตัวชี้วัดการทดสอบ A/B

เมื่อคุณสร้างการทดสอบ คุณจะต้องเลือกเมตริกหลักหรือ เป้าหมาย ที่ใช้ในการระบุรูปแบบที่ชนะ นอกจากนี้ คุณควรติดตามเมตริกอื่นๆ เพื่อช่วยให้คุณเข้าใจประสิทธิภาพของการทดสอบแต่ละรูปแบบได้ดีขึ้น และติดตามแนวโน้มที่สำคัญซึ่งอาจแตกต่างกันไปในแต่ละรูปแบบ เช่น การคงผู้ใช้ไว้ ความเสถียรของแอป และรายได้จากการซื้อในแอป คุณสามารถติดตามการวัดที่ไม่ใช่เป้าหมายได้สูงสุดห้ารายการในการทดสอบของคุณ

ตัวอย่างเช่น สมมติว่าคุณกำลังใช้การกำหนดค่าระยะไกลเพื่อเปิดตัวโฟลว์เกม 2 แบบที่แตกต่างกันในแอปของคุณและต้องการเพิ่มประสิทธิภาพสำหรับการซื้อในแอปและรายได้จากโฆษณา แต่คุณยังต้องการติดตามความเสถียรและการรักษาผู้ใช้ของแต่ละตัวแปรด้วย ในกรณีนี้ คุณอาจพิจารณาเลือก รายได้รวมโดยประมาณ เป็นเมตริกเป้าหมายของคุณ เนื่องจากเมตริกดังกล่าวรวมรายได้จากการซื้อในแอปและรายได้จากโฆษณา จากนั้นสำหรับ เมตริกอื่นๆ ที่จะติดตาม คุณอาจเพิ่มสิ่งต่อไปนี้:

  • หากต้องการติดตามการรักษาผู้ใช้รายวันและรายสัปดาห์ ให้เพิ่ม การรักษาผู้ใช้ (2-3 วัน) และ การรักษาผู้ใช้ (4-7 วัน)
  • หากต้องการเปรียบเทียบความเสถียรระหว่างกระแสเกมทั้งสอง ให้เพิ่ม ผู้ใช้ที่ปราศจากข้อขัดข้อง
  • หากต้องการดูรายละเอียดเพิ่มเติมของรายได้แต่ละประเภท ให้เพิ่ม รายได้จากการซื้อ และ รายได้จากโฆษณาโดยประมาณ

ตารางต่อไปนี้ให้รายละเอียดเกี่ยวกับวิธีการคำนวณตัวชี้วัดเป้าหมายและตัวชี้วัดอื่นๆ

ตัวชี้วัดเป้าหมาย

เมตริก คำอธิบาย
ผู้ใช้ที่ปราศจากข้อขัดข้อง เปอร์เซ็นต์ของผู้ใช้ที่ไม่พบข้อผิดพลาดในแอปของคุณที่ Firebase Crashlytics SDK ตรวจพบในระหว่างการทดสอบ
รายได้จากโฆษณาโดยประมาณ รายได้จากโฆษณาโดยประมาณ
รายได้รวมโดยประมาณ มูลค่ารวมสำหรับการซื้อและรายได้จากโฆษณาโดยประมาณ
รายได้ซื้อ มูลค่ารวมสำหรับเหตุการณ์ purchase และ in_app_purchase ทั้งหมด
การเก็บรักษา (1 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณในแต่ละวัน
การเก็บรักษา (2-3 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 2-3 วัน
การเก็บรักษา (4-7 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 4-7 วัน
การเก็บรักษา (8-14 วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณภายใน 8-14 วัน
การเก็บรักษา (15+ วัน) จำนวนผู้ใช้ที่กลับมาที่แอปของคุณหลังจากใช้งานครั้งล่าสุดเป็นเวลา 15 วันขึ้นไป
first_open เหตุการณ์ Analytics ที่เกิดขึ้นเมื่อผู้ใช้เปิดแอปเป็นครั้งแรกหลังจากติดตั้งหรือติดตั้งใหม่ ใช้เป็นส่วนหนึ่งของช่องทางการแปลง

ตัวชี้วัดอื่นๆ

เมตริก คำอธิบาย
การแจ้งเตือน_ยกเลิก เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อมีการปิดการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือน (Android เท่านั้น)
การแจ้งเตือน_รับ เหตุการณ์ Analytics ที่ทริกเกอร์เมื่อได้รับการแจ้งเตือนที่ส่งโดยผู้แต่งการแจ้งเตือนในขณะที่แอปอยู่ในเบื้องหลัง (Android เท่านั้น)
os_update เหตุการณ์ Analytics ที่ติดตามเมื่อระบบปฏิบัติการของอุปกรณ์ได้รับการอัปเดตเป็นเวอร์ชันใหม่ หากต้องการเรียนรู้เพิ่มเติม โปรดดู เหตุการณ์ที่รวบรวมโดยอัตโนมัติ
screen_view เหตุการณ์ Analytics ที่ติดตามหน้าจอที่ดูภายในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดู ติดตามการดูหน้าจอ
เซสชั่น_เริ่มต้น เหตุการณ์ Analytics ที่นับเซสชันผู้ใช้ในแอปของคุณ หากต้องการเรียนรู้เพิ่มเติม โปรดดูที่ เหตุการณ์ที่รวบรวมโดยอัตโนมัติ

การส่งออกข้อมูล BigQuery

คุณสามารถเข้าถึงข้อมูลการวิเคราะห์ทั้งหมดที่เกี่ยวข้องกับการทดสอบ A/B ของคุณได้ใน BigQuery BigQuery ช่วยให้คุณวิเคราะห์ข้อมูลโดยใช้ BigQuery SQL, ส่งออกไปยังผู้ให้บริการระบบคลาวด์รายอื่น หรือใช้ข้อมูลสำหรับโมเดล ML ที่คุณกำหนดเอง ดู ลิงก์ BigQuery กับ Firebase สำหรับข้อมูลเพิ่มเติม

หากต้องการใช้ประโยชน์จากการส่งออกข้อมูล BigQuery อย่างเต็มที่ โปรเจ็กต์ Firebase ควรใช้แผนการกำหนดราคาแบบ "Blaze" แบบจ่ายตามการใช้งาน BigQuery เรียกเก็บเงินสำหรับการจัดเก็บข้อมูล การแทรกสตรีม และการสืบค้นข้อมูล การโหลดและส่งออกข้อมูลไม่มีค่าใช้จ่าย ดู ราคา BigQuery หรือ แซนด์บ็อกซ์ BigQuery สำหรับข้อมูลเพิ่มเติม

ในการเริ่มต้น ตรวจสอบให้แน่ใจว่าโปรเจ็กต์ Firebase ของคุณลิงก์กับ BigQuery เลือก การตั้งค่า > การตั้งค่าโปรเจ็กต์ จากเมนูการนำทางด้านซ้าย จากนั้นเลือก การผสานรวม > BigQuery > ลิงก์ หน้านี้แสดงตัวเลือกในการส่งออกข้อมูลการวิเคราะห์ BiqQuery สำหรับแอปทั้งหมดในโปรเจ็กต์

หากต้องการค้นหาข้อมูลการวิเคราะห์สำหรับการทดสอบ ให้ทำดังนี้

  1. จากรายการ การทดสอบที่ใช้งาน อยู่ เลือกการทดสอบเพื่อเปิดหน้าผลการทดสอบ

  2. จากเมนูบริบท ในบาน หน้าต่างภาพรวมการทดสอบ ให้เลือก สืบค้นข้อมูลการทดสอบ (ตัวเลือกนี้ใช้ไม่ได้กับโปรเจ็กต์ในระดับที่ไม่มีค่าใช้จ่าย)

    ซึ่งจะเปิดตัวสร้างคำค้นหาของคอนโซล BigQuery พร้อมด้วยตัวอย่างคำค้นหาข้อมูลการทดสอบที่สร้างขึ้นอัตโนมัติซึ่งโหลดไว้ล่วงหน้าเพื่อให้คุณตรวจสอบ ในการค้นหานี้ การทดสอบของคุณได้รับการเข้ารหัสเป็นพร็อพเพอร์ตี้ผู้ใช้โดยมีชื่อการทดสอบอยู่ในคีย์และตัวแปรการทดสอบอยู่ในค่า

  3. ในตัวเขียนแบบสอบถาม ให้เลือก เรียกใช้แบบสอบถาม ผลลัพธ์จะแสดงในบานหน้าต่างด้านล่าง

โปรดทราบว่าเนื่องจากข้อมูล Firebase ใน BigQuery ได้รับการอัปเดตเพียงวันละครั้ง ข้อมูลที่มีอยู่ในหน้าการทดสอบจึงอาจเป็นข้อมูลล่าสุดมากกว่าข้อมูลที่มีอยู่ในคอนโซล BigQuery