Giới thiệu về thử nghiệm A/B trong Firebase

Để giúp bạn tăng tối đa mức độ liên quan và hữu ích của kết quả kiểm thử, trang này cung cấp thông tin chi tiết về cách hoạt động của Firebase A/B Testing.

Kích thước mẫu

Tính năng suy luận Firebase A/B Testing không yêu cầu xác định kích thước mẫu tối thiểu trước khi bắt đầu thử nghiệm. Nhìn chung, bạn nên chọn mức độ hiển thị thử nghiệm lớn nhất mà bạn cảm thấy thoải mái. Quy mô mẫu lớn hơn sẽ làm tăng khả năng tìm thấy kết quả có ý nghĩa thống kê, đặc biệt là khi sự khác biệt về hiệu suất giữa các biến thể là nhỏ. Bạn cũng có thể tham khảo công cụ tính kích thước mẫu trực tuyến để tìm kích thước mẫu được đề xuất dựa trên các đặc điểm của thử nghiệm.

Chỉnh sửa thử nghiệm

Bạn có thể chỉnh sửa các thông số đã chọn của thử nghiệm đang chạy, bao gồm:

• Tên thử nghiệm
• Mô tả
• Điều kiện nhắm mục tiêu
• Giá trị biến thể

Cách chỉnh sửa thử nghiệm:

1. Mở trang kết quả cho thử nghiệm mà bạn muốn sửa đổi.
2. Trong trình đơn Thêm , hãy chọn Chỉnh sửa thử nghiệm đang chạy.
3. Chỉnh sửa rồi nhấp vào Xuất bản.

Xin lưu ý rằng việc thay đổi hành vi của ứng dụng trong khi thử nghiệm đang chạy có thể ảnh hưởng đến kết quả.

Logic chỉ định biến thể Cấu hình từ xa

Những người dùng khớp với tất cả các điều kiện nhắm mục tiêu của thử nghiệm (bao gồm cả điều kiện về tỷ lệ phần trăm hiển thị) sẽ được chỉ định cho các biến thể thử nghiệm theo trọng số biến thể và hàm băm của mã thử nghiệm và mã cài đặt Firebase của người dùng.

Đối tượng Google Analytics chịu ảnh hưởng của độ trễ và không có sẵn ngay khi người dùng ban đầu đáp ứng các tiêu chí đối tượng:

• Khi bạn tạo một đối tượng mới, có thể mất từ 24 đến 48 giờ để tích luỹ người dùng mới.
• Người dùng mới thường được đăng ký vào các đối tượng đủ điều kiện từ 24 đến 48 giờ sau khi họ đủ điều kiện.

Đối với tiêu chí nhắm mục tiêu theo thời gian, hãy cân nhắc sử dụng các thuộc tính người dùng Google Analytics hoặc các tuỳ chọn nhắm mục tiêu tích hợp sẵn như quốc gia hoặc khu vực, ngôn ngữ và phiên bản ứng dụng.

Sau khi tham gia một thử nghiệm, người dùng sẽ được chỉ định liên tục vào biến thể thử nghiệm và nhận giá trị thông số từ thử nghiệm đó miễn là thử nghiệm vẫn đang hoạt động, ngay cả khi thuộc tính người dùng của họ thay đổi và họ không còn đáp ứng tiêu chí nhắm mục tiêu của thử nghiệm.

Sự kiện kích hoạt

Sự kiện kích hoạt thử nghiệm giới hạn việc đo lường thử nghiệm ở những người dùng ứng dụng kích hoạt sự kiện kích hoạt. Sự kiện kích hoạt thử nghiệm không ảnh hưởng đến các thông số thử nghiệm mà ứng dụng tìm nạp; tất cả người dùng đáp ứng tiêu chí nhắm mục tiêu của thử nghiệm sẽ nhận được các thông số thử nghiệm. Do đó, bạn cần chọn một sự kiện kích hoạt xảy ra sau khi các thông số thử nghiệm được tìm nạp và kích hoạt, nhưng trước khi các thông số thử nghiệm được sử dụng để sửa đổi hành vi của ứng dụng.

Trọng số biến thể

Trong quá trình tạo thử nghiệm, bạn có thể thay đổi trọng số biến thể mặc định để đặt tỷ lệ phần trăm người dùng thử nghiệm lớn hơn vào một biến thể.

Diễn giải kết quả kiểm thử

Firebase A/B Testing sử dụng phương pháp suy luận tần suất để giúp bạn hiểu khả năng kết quả thử nghiệm của bạn chỉ xảy ra do tình cờ. Xác suất này được biểu thị bằng giá trị xác suất hoặc giá trị p. Giá trị p là xác suất xảy ra sự khác biệt về hiệu suất lớn như vậy hoặc lớn hơn giữa hai biến thể do tình cờ nếu thực sự không có hiệu ứng nào, được đo bằng giá trị từ 0 đến 1. A/B Testing sử dụng mức ý nghĩa là 0,05 để:

• Giá trị p nhỏ hơn 0,05 cho biết rằng nếu chênh lệch thực tế bằng 0, thì xác suất để chênh lệch được quan sát là cực đoan như vậy xảy ra ngẫu nhiên sẽ nhỏ hơn 5%. Vì 0,05 là ngưỡng, nên mọi giá trị p nhỏ hơn 0,05 đều cho thấy sự khác biệt có ý nghĩa thống kê giữa các biến thể.
• Giá trị p lớn hơn 0,05 cho biết sự khác biệt giữa các biến thể không có ý nghĩa thống kê.

Dữ liệu thử nghiệm được làm mới mỗi ngày một lần và thời gian cập nhật gần nhất sẽ xuất hiện ở đầu trang kết quả thử nghiệm.

Biểu đồ kết quả thử nghiệm cho thấy giá trị trung bình tích luỹ của chỉ số đã chọn. Ví dụ: nếu bạn đang theo dõi Doanh thu từ quảng cáo trên mỗi người dùng dưới dạng một chỉ số, thì chỉ số này sẽ hiển thị doanh thu được ghi nhận trên mỗi người dùng. Còn nếu bạn đang theo dõi Người dùng không gặp sự cố, thì chỉ số này sẽ theo dõi tỷ lệ phần trăm người dùng không gặp sự cố. Dữ liệu này là tích luỹ từ khi bắt đầu thử nghiệm.

Kết quả được chia thành Dữ liệu quan sát và Dữ liệu suy luận. Dữ liệu quan sát được tính toán trực tiếp từ dữ liệu Google Analytics và dữ liệu suy luận cung cấp giá trị p và khoảng tin cậy để giúp bạn đánh giá ý nghĩa thống kê của dữ liệu quan sát được.

Đối với mỗi chỉ số, bạn sẽ thấy các số liệu thống kê sau:

Dữ liệu đã quan sát

• Tổng giá trị của chỉ số được theo dõi (số người dùng được giữ lại, số người dùng gặp sự cố, tổng doanh thu)
• Tỷ lệ theo chỉ số cụ thể (tỷ lệ giữ chân, tỷ lệ chuyển đổi, doanh thu trên mỗi người dùng)
• Mức chênh lệch (mức tăng) theo tỷ lệ phần trăm giữa biến thể và giá trị cơ sở

Dữ liệu suy luận

• Khoảng tin cậy 95% (Sự khác biệt về giá trị trung bình) cho thấy một khoảng chứa giá trị "thực" của chỉ số được theo dõi với độ tin cậy 95%. Ví dụ: nếu thử nghiệm của bạn cho ra khoảng tin cậy 95% cho tổng doanh thu ước tính từ 5 đến 10 đô la Mỹ, thì có 95% khả năng chênh lệch thực tế về giá trị trung bình là từ 5 đến 10 đô la Mỹ. Nếu khoảng CI bao gồm 0, thì không phát hiện thấy sự khác biệt có ý nghĩa thống kê giữa biến thể và đường cơ sở.

  Giá trị khoảng tin cậy xuất hiện ở định dạng khớp với chỉ số được theo dõi. Ví dụ: Thời gian (tính bằng HH:MM:SS) để giữ chân người dùng, USD cho doanh thu từ quảng cáo trên mỗi người dùng và tỷ lệ phần trăm cho tỷ lệ chuyển đổi.

• Giá trị p, thể hiện xác suất ghi nhận dữ liệu cực đoan như kết quả thu được trong thử nghiệm, giả sử không có sự khác biệt thực sự giữa biến thể và đường cơ sở. Giá trị p càng thấp thì mức độ tin cậy rằng hiệu suất được quan sát vẫn đúng càng cao nếu chúng ta lặp lại thử nghiệm. Giá trị từ 0,05 trở xuống cho biết có sự khác biệt đáng kể và khả năng kết quả là do ngẫu nhiên là rất thấp. Giá trị p dựa trên kiểm thử một bên, trong đó giá trị Biến thể lớn hơn giá trị Cơ sở. Firebase sử dụng kiểm thử t-không bằng nhau cho các biến liên tục (giá trị số, chẳng hạn như doanh thu) và kiểm thử z-tỷ lệ cho dữ liệu chuyển đổi (giá trị nhị phân, chẳng hạn như tỷ lệ giữ chân người dùng, người dùng không gặp sự cố, người dùng kích hoạt sự kiện Google Analytics).

Kết quả thử nghiệm cung cấp thông tin chi tiết quan trọng về từng biến thể thử nghiệm, bao gồm:

• Mức chênh lệch giữa mỗi chỉ số thử nghiệm so với đường cơ sở, được đo lường trực tiếp (tức là dữ liệu quan sát được thực tế)
• Xác suất xảy ra sự chênh lệch quan sát được giữa biến thể và đường cơ sở do tình cờ (giá trị p)
• Một phạm vi có thể chứa sự khác biệt về hiệu suất "thực sự" giữa biến thể và đường cơ sở cho mỗi chỉ số thử nghiệm – một cách để hiểu các tình huống hiệu suất "tốt nhất" và "tệ nhất"

Diễn giải kết quả cho các thử nghiệm do Google Optimize cung cấp

Kết quả Firebase A/B Testing cho các thử nghiệm bắt đầu trước ngày 23 tháng 10 năm 2023 là do Google Optimize cung cấp. Google Optimize đã sử dụng quy trình suy luận Bayesian để tạo số liệu thống kê chi tiết từ dữ liệu thử nghiệm của bạn.

Kết quả được chia thành "dữ liệu đã ghi nhận được" và "dữ liệu được mô hình hoá". Dữ liệu đã ghi nhận được tính toán trực tiếp từ dữ liệu Analytics và dữ liệu được mô hình hoá đến từ việc áp dụng mô hình Bayesian cho dữ liệu đã ghi nhận.

Đối với mỗi chỉ số, bạn sẽ thấy các số liệu thống kê sau:

Dữ liệu đã quan sát

• Tổng giá trị (tổng chỉ số cho tất cả người dùng trong biến thể)
• Giá trị trung bình (giá trị trung bình của chỉ số đối với người dùng trong biến thể)
• Mức chênh lệch (%) so với đường cơ sở

Dữ liệu được mô hình hoá

• Xác suất vượt qua đường cơ sở: xác suất chỉ số của biến thể này cao hơn so với đường cơ sở
• Mức chênh lệch theo tỷ lệ phần trăm so với giá trị cơ sở: dựa trên số liệu ước tính trung bình của mô hình về chỉ số cho biến thể và giá trị cơ sở
• Phạm vi chỉ số: phạm vi có nhiều khả năng tìm thấy giá trị của chỉ số nhất, với độ chắc chắn là 50% và 95%

Nhìn chung, kết quả thử nghiệm cung cấp cho chúng ta 3 thông tin chi tiết quan trọng về từng biến thể trong thử nghiệm:

1. Mức chênh lệch giữa mỗi chỉ số thử nghiệm so với đường cơ sở, được đo lường trực tiếp (tức là dữ liệu quan sát được thực tế)
2. Mức độ có khả năng mỗi chỉ số thử nghiệm cao hơn mức cơ sở / tốt nhất tổng thể, dựa trên suy luận Bayesian (tương ứng là xác suất tốt hơn / tốt nhất)
3. Phạm vi hợp lý cho từng chỉ số thử nghiệm dựa trên suy luận Bayesian – các tình huống "tốt nhất" và "tồi tệ nhất" (khoảng tin cậy)

Xác định người dẫn đầu

Đối với các thử nghiệm sử dụng Suy luận tần suất, Firebase sẽ công bố biến thể dẫn đầu nếu có sự chênh lệch có ý nghĩa thống kê về hiệu suất giữa biến thể và mức cơ sở của chỉ số mục tiêu. Nếu nhiều biến thể cùng đáp ứng tiêu chí này, thì biến thể có giá trị p thấp nhất sẽ được chọn.

Đối với các thử nghiệm sử dụng Google Optimize, Firebase sẽ công bố một biến thể là "dẫn đầu rõ ràng" nếu biến thể đó có nhiều hơn 95% khả năng hoạt động hiệu quả hơn biến thể cơ sở theo chỉ số chính. Nếu nhiều biến thể đáp ứng tiêu chí "dẫn đầu rõ ràng", thì chỉ biến thể hoạt động hiệu quả nhất tổng thể mới được gắn nhãn là "dẫn đầu rõ ràng".

Do việc xác định biến thể dẫn đầu chỉ dựa trên mục tiêu chính, nên bạn cần cân nhắc tất cả các yếu tố liên quan và xem xét kết quả của các chỉ số phụ trước khi quyết định có triển khai biến thể dẫn đầu hay không. Bạn nên cân nhắc lợi ích dự kiến của việc thay đổi, rủi ro khi giảm (chẳng hạn như cuối khoảng tin cậy thấp hơn để cải thiện) và tác động đến các chỉ số khác ngoài mục tiêu chính.

Ví dụ: nếu chỉ số chính của bạn là Số người dùng không gặp sự cố và Biến thể A là biến thể dẫn đầu rõ ràng so với đường cơ sở, nhưng các chỉ số về tỷ lệ giữ chân người dùng của Biến thể A lại thấp hơn tỷ lệ giữ chân người dùng của đường cơ sở, thì bạn nên điều tra thêm trước khi triển khai Biến thể A rộng rãi hơn.

Bạn có thể triển khai bất kỳ biến thể nào, chứ không chỉ biến thể dẫn đầu, dựa trên đánh giá tổng thể về hiệu suất trên cả chỉ số chính và phụ.

Thời lượng thử nghiệm

Firebase đề xuất rằng một thử nghiệm sẽ tiếp tục chạy cho đến khi đáp ứng các điều kiện sau:

1. Thử nghiệm đã tích luỹ đủ dữ liệu để cung cấp kết quả hữu ích. Dữ liệu về thử nghiệm và kết quả được cập nhật một lần mỗi ngày. Bạn nên tham khảo công cụ tính kích thước mẫu trực tuyến để đánh giá kích thước mẫu được đề xuất cho thử nghiệm của mình.
2. Thử nghiệm đã chạy đủ lâu để đảm bảo có một mẫu đại diện cho người dùng và đo lường hiệu suất trong dài hạn. Thời gian chạy tối thiểu được đề xuất cho một thử nghiệm Cấu hình từ xa thông thường là 2 tuần.

Dữ liệu thử nghiệm được xử lý trong tối đa 90 ngày sau khi thử nghiệm bắt đầu. Sau 90 ngày, thử nghiệm sẽ tự động dừng. Kết quả thử nghiệm không còn được cập nhật trong bảng điều khiển Firebase và thử nghiệm sẽ ngừng gửi các giá trị tham số dành riêng cho thử nghiệm. Tại thời điểm này, ứng dụng bắt đầu tìm nạp các giá trị tham số dựa trên các điều kiện được đặt trong mẫu Remote Config. Dữ liệu thử nghiệm trong quá khứ sẽ được giữ lại cho đến khi bạn xoá thử nghiệm.

Giản đồ BigQuery

Ngoài việc xem dữ liệu thử nghiệm A/B Testing trong bảng điều khiển Firebase, bạn có thể kiểm tra và phân tích dữ liệu thử nghiệm trong BigQuery. Mặc dù A/B Testing không có bảng BigQuery riêng, nhưng thành viên thử nghiệm và biến thể được lưu trữ trên mọi sự kiện Google Analytics trong bảng sự kiện Analytics.

Các thuộc tính người dùng chứa thông tin thử nghiệm có dạng userProperty.key like "firebase_exp_%" hoặc userProperty.key = "firebase_exp_01", trong đó 01 là mã thử nghiệm và userProperty.value.string_value chứa chỉ mục (dựa trên 0) của biến thể thử nghiệm.

Bạn có thể sử dụng các thuộc tính người dùng thử nghiệm này để trích xuất dữ liệu thử nghiệm. Điều này cho phép bạn phân chia kết quả thử nghiệm theo nhiều cách và xác minh độc lập kết quả của A/B Testing.

Để bắt đầu, hãy hoàn tất các bước sau như mô tả trong hướng dẫn này:

1. Bật tính năng xuất BigQuery cho Google Analytics trong bảng điều khiển Firebase
2. Truy cập vào dữ liệu A/B Testing bằng BigQuery
3. Khám phá các truy vấn mẫu

Bật tính năng xuất BigQuery cho Google Analytics trong bảng điều khiển Firebase

Nếu đang sử dụng gói Spark, bạn có thể sử dụng hộp cát BigQuery để truy cập vào BigQuery mà không mất phí, tuân theo Giới hạn của hộp cát. Hãy xem phần Giá và hộp cát BigQuery để biết thêm thông tin.

Trước tiên, hãy đảm bảo rằng bạn đang xuất dữ liệu Analytics sang BigQuery:

1. Mở thẻ Tích hợp. Bạn có thể truy cập vào thẻ này bằng cách sử dụng > Cài đặt dự án trong bảng điều khiển Firebase.
2. Nếu bạn đang sử dụng BigQuery với các dịch vụ Firebase khác, hãy nhấp vào Quản lý. Nếu không, hãy nhấp vào Liên kết.
3. Xem lại phần Giới thiệu về việc liên kết Firebase với BigQuery, rồi nhấp vào Tiếp theo.
4. Trong phần Định cấu hình chế độ tích hợp, hãy bật nút bật/tắt Google Analytics.

5. Chọn một khu vực rồi chọn chế độ cài đặt xuất dữ liệu.

   Lưu ý: Để biết thêm thông tin về Google Analytics cho chế độ cài đặt Firebase, hãy xem phần Thu thập dữ liệu.

6. Nhấp vào Liên kết với BigQuery.

Tuỳ thuộc vào cách bạn chọn xuất dữ liệu, có thể mất đến một ngày thì các bảng mới xuất hiện. Để biết thêm thông tin về cách xuất dữ liệu dự án sang BigQuery, hãy xem phần Xuất dữ liệu dự án sang BigQuery.

Truy cập dữ liệu A/B Testing trong BigQuery

Trước khi truy vấn dữ liệu cho một thử nghiệm cụ thể, bạn nên thu thập một số hoặc tất cả các thông tin sau để sử dụng trong truy vấn:

• Mã thử nghiệm: Bạn có thể lấy mã này từ URL của trang Tổng quan về thử nghiệm. Ví dụ: nếu URL của bạn có dạng https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, thì mã thử nghiệm là 25.
• Mã tài sản Google Analytics: Đây là mã tài sản Google Analytics gồm 9 chữ số. Bạn có thể tìm thấy thông tin này trong Google Analytics; thông tin này cũng xuất hiện trong BigQuery khi bạn mở rộng tên dự án để hiển thị tên của bảng sự kiện Google Analytics (project_name.analytics_000000000.events).
• Ngày thử nghiệm: Để tạo truy vấn nhanh và hiệu quả hơn, bạn nên giới hạn truy vấn ở các phân vùng bảng sự kiện hằng ngày Google Analytics chứa dữ liệu thử nghiệm của bạn – các bảng được xác định bằng hậu tố YYYYMMDD. Vì vậy, nếu thử nghiệm của bạn chạy từ ngày 2 tháng 2 năm 2024 đến ngày 2 tháng 5 năm 2024, bạn sẽ chỉ định _TABLE_SUFFIX between '20240202' AND '20240502'. Để xem ví dụ, hãy xem phần Chọn giá trị của một thử nghiệm cụ thể.
• Tên sự kiện: Thông thường, các tên này tương ứng với chỉ số mục tiêu mà bạn đã định cấu hình trong thử nghiệm. Ví dụ: sự kiện in_app_purchase, ad_impression hoặc user_retention.

Mẹo: Nếu bạn đang sử dụng gói Blaze, Firebase có thể tạo một truy vấn mẫu để trích xuất tên thử nghiệm, biến thể, tên sự kiện và số lượng sự kiện cho thử nghiệm mà bạn chọn. Tìm hiểu thêm tại bài viết Truy vấn dữ liệu thử nghiệm bằng truy vấn được tạo tự động của bảng điều khiển Firebase

Sau khi bạn thu thập thông tin cần thiết để tạo truy vấn:

1. Mở BigQuery trong bảng điều khiển Google Cloud.
2. Chọn dự án của bạn, sau đó chọn Tạo truy vấn SQL.
3. Thêm cụm từ tìm kiếm. Để biết các truy vấn mẫu cần chạy, hãy xem phần Khám phá các truy vấn mẫu.
4. Nhấp vào Chạy.

Lưu ý: Mặc dù các bước này mô tả cách sử dụng bảng điều khiển Google Cloud, nhưng bạn cũng có thể sử dụng CLI hoặc thư viện ứng dụng để truy vấn BigQuery. Tìm hiểu thêm trong tài liệu về BigQuery.

Truy vấn dữ liệu thử nghiệm bằng truy vấn được tạo tự động của bảng điều khiển Firebase

Nếu bạn đang sử dụng gói Blaze, trang Tổng quan về thử nghiệm sẽ cung cấp một truy vấn mẫu trả về tên thử nghiệm, biến thể, tên sự kiện và số lượng sự kiện cho thử nghiệm mà bạn đang xem.

Cách lấy và chạy truy vấn được tạo tự động:

1. Trên bảng điều khiển Firebase, hãy mở A/B Testing rồi chọn thử nghiệm A/B Testing mà bạn muốn truy vấn để mở Tổng quan về thử nghiệm.
2. Trong trình đơn Tuỳ chọn, bên dưới mục Tích hợp BigQuery, hãy chọn Truy vấn dữ liệu thử nghiệm. Thao tác này sẽ mở dự án của bạn trong BigQuery trong bảng điều khiển Google Cloud và cung cấp một truy vấn cơ bản mà bạn có thể sử dụng để truy vấn dữ liệu thử nghiệm.

Ví dụ sau đây cho thấy một truy vấn được tạo cho một thử nghiệm có 3 biến thể (bao gồm cả đường cơ sở) có tên là "Thử nghiệm chào đón mùa đông". Hàm này trả về tên thử nghiệm đang hoạt động, tên biến thể, sự kiện riêng biệt và số sự kiện cho mỗi sự kiện. Xin lưu ý rằng trình tạo truy vấn không chỉ định tên dự án trong tên bảng, vì trình tạo truy vấn này mở trực tiếp trong dự án của bạn.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Để biết thêm ví dụ về truy vấn, hãy chuyển đến phần Khám phá các truy vấn mẫu.

Khám phá các truy vấn mẫu

Các phần sau đây cung cấp ví dụ về các truy vấn mà bạn có thể sử dụng để trích xuất dữ liệu thử nghiệm A/B Testing từ bảng sự kiện Google Analytics.

Trích xuất giá trị độ lệch chuẩn của giao dịch mua và thử nghiệm từ tất cả các thử nghiệm

Bạn có thể sử dụng dữ liệu kết quả thử nghiệm để xác minh độc lập kết quả Firebase A/B Testing. Câu lệnh SQL BigQuery sau đây trích xuất các biến thể thử nghiệm, số lượng người dùng riêng biệt trong mỗi biến thể và tổng doanh thu từ các sự kiện in_app_purchase và ecommerce_purchase, cũng như độ lệch chuẩn cho tất cả các thử nghiệm trong phạm vi thời gian được chỉ định là ngày bắt đầu và ngày kết thúc _TABLE_SUFFIX. Bạn có thể sử dụng dữ liệu thu được từ truy vấn này bằng trình tạo ý nghĩa thống kê cho kiểm thử t một bên để xác minh rằng kết quả mà Firebase cung cấp khớp với kết quả phân tích của riêng bạn.

Để biết thêm thông tin về cách A/B Testing tính toán suy luận, hãy xem phần Diễn giải kết quả kiểm thử.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Chọn giá trị của một thử nghiệm cụ thể

Truy vấn mẫu sau đây minh hoạ cách lấy dữ liệu cho một thử nghiệm cụ thể trong BigQuery. Truy vấn mẫu này trả về tên thử nghiệm, tên biến thể (bao gồm cả Đường cơ sở), tên sự kiện và số lượng sự kiện.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Giới hạn

A/B Testing bị giới hạn ở tổng cộng 300 thử nghiệm, 24 thử nghiệm đang chạy và 24 thử nghiệm nháp. Các giới hạn này được áp dụng cho các bản phát hành Remote Config. Ví dụ: nếu có 2 lần triển khai và 3 thử nghiệm đang chạy, thì bạn có thể có thêm tối đa 19 lần triển khai hoặc thử nghiệm.

• Nếu đạt đến giới hạn tổng số 300 thử nghiệm hoặc giới hạn 24 thử nghiệm nháp, bạn phải xoá một thử nghiệm hiện có trước khi tạo thử nghiệm mới.

• Nếu đạt đến giới hạn 24 thử nghiệm và bản phát hành đang chạy, bạn phải dừng một thử nghiệm hoặc bản phát hành đang chạy trước khi bắt đầu một thử nghiệm hoặc bản phát hành mới.

Một thử nghiệm có thể có tối đa 8 biến thể (bao gồm cả biến thể cơ sở) và tối đa 25 thông số cho mỗi biến thể. Một thử nghiệm có thể có kích thước tối đa khoảng 200 KiB. Bao gồm tên biến thể, tham số biến thể và siêu dữ liệu cấu hình khác.