Khi bạn sử dụng Firebase Remote Config để triển khai chế độ cài đặt cho có cơ sở người dùng đang hoạt động, bạn nên đảm bảo rằng mình làm cho đúng. Bạn có thể sử dụng A/B Testing thử nghiệm để có được kết quả tốt nhất xác định các yếu tố sau:
- Cách tốt nhất để triển khai một tính năng nhằm tối ưu hoá trải nghiệm người dùng. Quá trình nhà phát triển ứng dụng thường xuyên không biết rằng người dùng của họ không thích một tính năng mới hoặc người dùng được cập nhật trải nghiệm của họ cho đến khi điểm xếp hạng của ứng dụng trong cửa hàng ứng dụng bị giảm. Thử nghiệm A/B có thể giúp đo lường xem người dùng thích các biến thể mới của tính năng hay liệu chúng thích ứng dụng như khi nó tồn tại. Ngoài ra, việc duy trì hầu hết người dùng nhóm cơ sở đảm bảo rằng hầu hết cơ sở người dùng của bạn có thể tiếp tục sử dụng ứng dụng của bạn mà không gặp phải bất kỳ thay đổi nào về hành vi hoặc giao diện của ứng dụng cho đến khi thử nghiệm đã kết thúc.
- Cách tốt nhất để tối ưu hoá trải nghiệm người dùng cho mục tiêu kinh doanh. Đôi khi, bạn đang thực hiện các thay đổi đối với sản phẩm để tối đa hoá một chỉ số như doanh thu hoặc tỷ lệ giữ chân. Với thử nghiệm A/B, bạn đặt mục tiêu kinh doanh và Firebase thực hiện phân tích thống kê để xác định xem một biến thể có vượt trội so với đường cơ sở cho mục tiêu bạn đã chọn.
Để tiến hành thử nghiệm A/B cho các biến thể của tính năng dựa trên giá trị cơ sở, hãy làm như sau:
- Tạo thử nghiệm.
- Xác thực thử nghiệm của bạn trên thiết bị thử nghiệm.
- Quản lý thử nghiệm của bạn.
Tạo thử nghiệm
Thử nghiệm Remote Config giúp bạn đánh giá nhiều biến thể trên một hoặc tham số Remote Config khác.
Đăng nhập vào Bảng điều khiển Firebase và xác minh rằng Google Analytics đã được bật trong dự án của bạn để thử nghiệm có quyền truy cập vào dữ liệu Analytics.
Nếu không bật Google Analytics khi tạo dự án, bạn có thể bật chế độ này trên Các công cụ tích hợp mà bạn có thể truy cập bằng > Cài đặt dự án trong bảng điều khiển của Firebase.
Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
Nhấp vào Tạo thử nghiệm, rồi chọn Remote Config khi được nhắc cho dịch vụ bạn muốn thử nghiệm.
Nhập Tên và phần Nội dung mô tả (không bắt buộc) cho thử nghiệm rồi nhấp vào Tiếp theo.
Điền vào các trường Nhắm mục tiêu, trước tiên chọn ứng dụng sử dụng thử nghiệm. Bạn cũng có thể nhắm mục tiêu một nhóm nhỏ người dùng của mình để tham gia thử nghiệm của mình bằng cách nhấp vào biểu tượng và, sau đó chọn các tuỳ chọn từ danh sách sau:
- Phiên bản: Một hoặc nhiều phiên bản ứng dụng
- Số bản dựng: Mã phiên bản của ứng dụng
- Ngôn ngữ: Một hoặc nhiều ngôn ngữ và ngôn ngữ dùng để chọn người dùng những người có thể được đưa vào thử nghiệm
- Quốc gia/khu vực: Một hoặc nhiều quốc gia/khu vực để chọn người dùng đối tượng nào được đưa vào thử nghiệm
- Đối tượng người dùng: Analytics đối tượng được dùng để nhắm mục tiêu những người dùng có thể được đưa vào thử nghiệm
- Thuộc tính người dùng: Một hoặc nhiều thuộc tính người dùng Analytics cho chọn những người dùng có thể được đưa vào thử nghiệm
Mở lần đầu: Nhắm đến người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn
Nhắm mục tiêu người dùng theo thời gian mở lần đầu sẽ có sẵn sau khi bạn chọn ứng dụng Android hoặc iOS. Tính năng này được hỗ trợ bởi các phiên bản SDK Remote Config sau: SDK nền tảng của Apple phiên bản 9.0.0 trở lên và SDK Android phiên bản 21.1.1 trở lên (Firebase BoM phiên bản 30.3.0 trở lên).
Bạn cũng phải bật Analytics trên máy khách trong lần đầu mở sự kiện.
Đặt Tỷ lệ phần trăm người dùng mục tiêu: Nhập tỷ lệ phần trăm cơ sở người dùng phù hợp với tiêu chí đã đặt trong Nhắm mục tiêu người dùng mà bạn muốn chia đều giữa đường cơ sở và một hoặc nhiều biến thể trong thử nghiệm. Tỷ lệ này có thể là bất kỳ tỷ lệ phần trăm nào từ 0,01% đến 100%. Người dùng được chỉ định ngẫu nhiên cho mỗi thử nghiệm, bao gồm cả các thử nghiệm trùng lặp.
Đặt một sự kiện kích hoạt (không bắt buộc) để đảm bảo rằng chỉ dữ liệu từ người dùng lần đầu kích hoạt một số sự kiện Analytics được tính trong thử nghiệm. Xin lưu ý rằng tất cả người dùng khớp với các thông số nhắm mục tiêu của bạn sẽ nhận được giá trị thử nghiệm Remote Config, nhưng chỉ những giá trị kích hoạt sự kiện kích hoạt sẽ được đưa vào kết quả thử nghiệm của bạn.
Để đảm bảo một thử nghiệm hợp lệ, hãy đảm bảo rằng sự kiện bạn chọn sẽ xảy ra sau khi ứng dụng của bạn kích hoạt các giá trị cấu hình đã tìm nạp. Ngoài ra, không thể sử dụng các sự kiện sau vì các sự kiện này luôn xảy ra trước khi được tìm nạp các giá trị được kích hoạt:
app_installapp_removeapp_updatedynamic_link_first_open
Đối với thử nghiệm Mục tiêu, chọn mục tiêu chính chỉ số cần theo dõi và thêm bất kỳ chỉ số nào khác mà bạn muốn theo dõi từ danh sách. Những tín hiệu này bao gồm các mục tiêu tích hợp sẵn (giao dịch mua hàng, doanh thu, tỷ lệ giữ chân người dùng, người dùng không gặp sự cố, v.v.), Analytics sự kiện chuyển đổi và các sự kiện khác Analytics sự kiện. Sau khi hoàn tất, hãy nhấp vào Tiếp theo.
Trong phần Biến thể, hãy chọn một đường cơ sở và ít nhất một biến thể cho thử nghiệm. Sử dụng danh sách Chọn hoặc tạo mới để thêm một tệp hoặc nhiều thông số khác để thử nghiệm. Bạn có thể tạo một thông số có chưa được sử dụng trước đó trong bảng điều khiển Firebase, nhưng phải tồn tại trong ứng dụng của bạn để nó có bất kỳ hiệu quả nào. Bạn có thể lặp lại bước này để thêm nhiều cho thử nghiệm của mình.
(không bắt buộc) Để thêm nhiều biến thể vào thử nghiệm, hãy nhấp vào Thêm một biến thể khác.
Thay đổi một hoặc nhiều thông số cho những biến thể cụ thể. Mọi thứ không thay đổi đều giống nhau cho người dùng không được đưa vào thử nghiệm.
Mở rộng Trọng số biến thể để xem hoặc thay đổi trọng số biến thể cho thử nghiệm. Theo mặc định, mỗi biến thể sẽ có trọng số như nhau. Lưu ý rằng các điểm không đều trọng số có thể làm tăng thời gian thu thập dữ liệu và không thể thay đổi trọng số sau khi thử nghiệm bắt đầu.
Nhấp vào Xem lại để lưu thử nghiệm của bạn.
Bạn được phép tiến hành tối đa 300 thử nghiệm cho mỗi dự án, có thể bao gồm tối đa 24 thử nghiệm đang chạy, phần còn lại là thử nghiệm nháp hoặc đã hoàn tất.
Xác thực thử nghiệm trên thiết bị thử nghiệm
Đối với mỗi lần cài đặt Firebase, bạn có thể truy xuất mã thông báo xác thực cài đặt liên kết với cuộc trò chuyện đó. Bạn có thể dùng mã thông báo này để thử nghiệm các biến thể thử nghiệm cụ thể trên thiết bị thử nghiệm đã cài đặt ứng dụng của bạn. Để xác thực thử nghiệm trên thiết bị thử nghiệm, hãy làm như sau:
- Lấy mã thông báo xác thực cài đặt như sau:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }C++
firebase::InitResult init_result; auto* installations_object = firebase::installations::Installations::GetInstance( firebase::App::GetInstance(), &init_result); installations_object->GetToken().OnCompletion( [](const firebase::FutureUnity
Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith( task => { if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) { UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result)); } }); - Trên thanh điều hướng bảng điều khiển Firebase, hãy nhấp vào Thử nghiệm A/B.
- Nhấp vào Bản nháp (và/hoặc Chạy cho Điều khiển từ xa Cấu hình thử nghiệm), hãy di chuột lên thử nghiệm của bạn, rồi nhấp vào trình đơn theo bối cảnh (more_vert), rồi nhấp vào Quản lý thiết bị thử nghiệm.
- Nhập mã thông báo xác thực cài đặt cho thiết bị thử nghiệm và chọn biến thể thử nghiệm để gửi đến thiết bị thử nghiệm đó.
- Chạy ứng dụng và xác nhận rằng biến thể đã chọn đang được nhận trên thiết bị thử nghiệm.
Để tìm hiểu thêm về cách cài đặt Firebase, hãy xem Quản lý lượt cài đặt Firebase.
Quản lý thử nghiệm của bạn
Cho dù bạn tạo một thử nghiệm bằng Remote Config, trình soạn Thông báo, hoặc Firebase In-App Messaging, sau đó bạn có thể xác thực và bắt đầu thử nghiệm, theo dõi thử nghiệm trong khi chạy đồng thời tăng số lượng người dùng được đưa vào thử nghiệm đang chạy của bạn.
Khi thử nghiệm hoàn tất, bạn có thể ghi lại các chế độ cài đặt mà biến thể giành chiến thắng, sau đó triển khai các cài đặt đó cho tất cả người dùng. Hoặc, bạn có thể chạy một thử nghiệm khác.
Bắt đầu thử nghiệm
- Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
- Nhấp vào Bản nháp, rồi nhấp vào tiêu đề của thử nghiệm.
- Để xác thực rằng ứng dụng của bạn có người dùng sẽ được đưa vào thử nghiệm, mở rộng thông tin nháp và kiểm tra lớn hơn 0% trong phần Nhắm mục tiêu và phân phối (ví dụ: 1% người dùng phù hợp với tiêu chí).
- Để thay đổi thử nghiệm, hãy nhấp vào Chỉnh sửa.
- Để bắt đầu thử nghiệm, hãy nhấp vào Bắt đầu thử nghiệm. Bạn có thể chạy tối đa 24 thử nghiệm cho từng dự án tại một thời điểm.
Theo dõi một thử nghiệm
Khi thử nghiệm đã chạy được một thời gian, bạn có thể kiểm tra tiến trình và xem kết quả của bạn như thế nào cho những người dùng đã tham gia trong thử nghiệm của bạn cho đến thời điểm này.
- Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
Nhấp vào Đang chạy, sau đó nhấp vào hoặc tìm kiếm tiêu đề của thử nghiệm. Trên trang này, bạn có thể xem nhiều định dạng số liệu thống kê về thử nghiệm đang chạy của bạn, bao gồm:
- % chênh lệch so với giá trị cơ sở: Đo lường mức độ cải thiện của một chỉ số của một biến thể nhất định so với giá trị cơ sở. Được tính bằng cách so sánh khoảng giá trị của biến thể so với phạm vi giá trị cho đường cơ sở.
- Xác suất vượt qua đường cơ sở: Xác suất ước tính mà một đường cơ sở nhất định biến thể lớn hơn đường cơ sở của chỉ số đã chọn.
- observed_metric cho mỗi người dùng: Dựa trên kết quả thử nghiệm, đây là phạm vi dự đoán mà giá trị chỉ số sẽ nằm trong bất cứ lúc nào.
- Tổng observed_metric: Giá trị tích luỹ quan sát được của đường cơ sở hoặc biến thể. Giá trị này được dùng để đo lường mức độ hiệu quả của mỗi biến thể thử nghiệm có hiệu suất và được dùng để tính Mức độ cải thiện, Phạm vi giá trị, Xác suất vượt qua đường cơ sở và Xác suất để đạt được là biến thể tốt nhất. Tuỳ thuộc vào chỉ số đang được đo, có thể được gắn nhãn "Thời lượng mỗi người dùng" "Doanh thu trên mỗi người dùng", "Tỷ lệ giữ chân", hoặc "Tỷ lệ chuyển đổi".
Sau khi thử nghiệm của bạn đã chạy được một thời gian (ít nhất 7 ngày đối với FCM và In-App Messaging hoặc 14 ngày đối với Remote Config), dữ liệu trên trang này cho biết biến thể nào (nếu có) là "biến thể dẫn đầu". Một vài phép đo là kèm theo biểu đồ thanh trình bày dữ liệu ở định dạng trực quan.
Triển khai thử nghiệm cho tất cả người dùng
Sau khi một thử nghiệm đã chạy đủ lâu để bạn có "lãnh đạo" hoặc chiến thắng biến thể, đối với chỉ số mục tiêu của mình, bạn có thể phát hành thử nghiệm cho 100% người dùng. Nhờ đó, bạn có thể chọn một biến thể để phát hành cho tất cả người dùng từ giờ trở đi. Đồng đều nếu thử nghiệm của bạn chưa tạo ra biến thể chiến thắng rõ ràng, bạn vẫn có thể chọn phát hành một biến thể cho tất cả người dùng của mình.
- Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
- Nhấp vào Đã hoàn tất hoặc Đang chạy, nhấp vào một thử nghiệm mà bạn muốn phát hành cho tất cả người dùng, hãy nhấp vào trình đơn theo bối cảnh () Triển khai biến thể.
Triển khai thử nghiệm cho tất cả người dùng bằng một trong những cách sau:
- Đối với thử nghiệm dùng trình soạn Thông báo, hãy dùng Hộp thoại Triển khai thông báo để gửi thông báo đến những đối tượng được nhắm mục tiêu còn lại những người dùng không tham gia thử nghiệm.
- Đối với thử nghiệm Remote Config, hãy chọn một biến thể để xác định biến thể nào Các giá trị tham số Remote Config cần cập nhật. Tiêu chí nhắm mục tiêu được xác định khi bạn tạo thử nghiệm sẽ được thêm dưới dạng một điều kiện mới trong để đảm bảo rằng việc triển khai chỉ ảnh hưởng đến người dùng mà thử nghiệm. Sau khi nhấp vào Xem lại trong Cấu hình từ xa để xem lại các thay đổi, hãy nhấp vào Xuất bản các thay đổi để hoàn tất việc phát hành.
- Đối với thử nghiệm In-App Messaging, hãy sử dụng hộp thoại để xác định Bạn cần triển khai biến thể dưới dạng một chiến dịch In-App Messaging độc lập. Sau khi chọn, bạn sẽ được chuyển hướng đến màn hình soạn FIAM để thực hiện bất kỳ các thay đổi (nếu cần) trước khi xuất bản.
Mở rộng thử nghiệm
Nếu bạn nhận thấy một thử nghiệm không thu hút đủ người dùng cho A/B Testing để tuyên bố biến thể dẫn đầu, bạn có thể tăng mức phân phối thử nghiệm để đạt lớn hơn trong số cơ sở người dùng của ứng dụng.
- Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
- Chọn thử nghiệm đang chạy mà bạn muốn chỉnh sửa.
- Trong mục Tổng quan về thử nghiệm, hãy nhấp vào trình đơn theo bối cảnh (), sau đó nhấp vào Chỉnh sửa thử nghiệm đang chạy.
- Hộp thoại Nhắm mục tiêu hiển thị tùy chọn để tăng tỷ lệ phần trăm người dùng tham gia thử nghiệm đang chạy. Hãy chọn một số lớn hơn cao hơn tỷ lệ phần trăm hiện tại, rồi nhấp vào Xuất bản. Thử nghiệm sẽ theo tỷ lệ phần trăm người dùng mà bạn đã chỉ định.
Sao chép hoặc dừng một thử nghiệm
- Trong phần Thu hút của trình đơn điều hướng Bảng điều khiển Firebase, hãy nhấp vào A/B Testing.
- Nhấp vào Đã hoàn tất hoặc Đang chạy, giữ con trỏ trên thử nghiệm của bạn, nhấp vào trình đơn theo bối cảnh () và sau đó nhấp vào Sao chép thử nghiệm hoặc Ngừng thử nghiệm.
Nhắm mục tiêu theo người dùng
Bạn có thể nhắm mục tiêu người dùng để đưa vào thử nghiệm bằng cách sử dụng các tiêu chí nhắm mục tiêu người dùng sau.
| Tiêu chí nhắm mục tiêu | (Các) nhà cung cấp dịch vụ | (Các) Giá trị | Lưu ý | |
|---|---|---|---|---|
| Phiên bản | chứa,
không chứa, khớp chính xác, chứa biểu thức chính quy |
Nhập giá trị cho một hoặc nhiều phiên bản ứng dụng mà bạn muốn đưa vào thử nghiệm. |
Khi sử dụng bất kỳ chất chứa, không chứa, hoặc khớp chính xác với các toán tử, bạn có thể cung cấp danh sách các toán tử được phân tách bằng dấu phẩy giá trị. Khi sử dụng toán tử chứa biểu thức chính quy, bạn có thể tạo biểu thức trong RE2 . Biểu thức chính quy có thể khớp với toàn bộ hoặc một phần của phiên bản đích . Bạn cũng có thể sử dụng các neo ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. |
|
| (Các) đối tượng người dùng | bao gồm tất cả,
bao gồm ít nhất một trong số không bao gồm tất cả, không bao gồm ít nhất một trong |
Chọn một hoặc nhiều đối tượng Analytics để nhắm mục tiêu những người dùng có thể là được bao gồm trong thử nghiệm của bạn. |
Một số thử nghiệm nhắm đến đối tượng Google Analytics có thể cần có
để tích luỹ dữ liệu trong vài ngày bởi vì chúng phải tuân theo quy định của Analytics
độ trễ xử lý dữ liệu.
Bạn rất có thể gặp phải sự chậm trễ này với những người dùng mới, là những người
thường đăng ký tham gia các đối tượng đủ điều kiện từ 24 đến 48 giờ sau khi tạo, hoặc
với
đối tượng được tạo gần đây.
Đối với Remote Config, điều này có nghĩa là ngay cả khi người dùng đủ điều kiện về mặt kỹ thuật cho một đối tượng, nếu Analytics chưa thêm người dùng vào đối tượng đó "fetchAndKích hoạt()" được thực thi, người dùng sẽ không được đưa vào thử nghiệm. |
|
| Thuộc tính người dùng | Đối với văn bản:
chứa, không chứa, khớp chính xác, chứa biểu thức chính quy Đối với số điện thoại: <, ≤, =, ≥, > |
Thuộc tính người dùng Analytics được dùng để chọn những người dùng có thể được đưa vào
trong một thử nghiệm có nhiều lựa chọn để chọn thuộc tính người dùng
giá trị.
Trên máy khách, bạn chỉ có thể đặt các giá trị chuỗi cho người dùng các thuộc tính. Đối với các điều kiện sử dụng toán tử số, dịch vụ Remote Config chuyển đổi giá trị của mã thuộc tính người dùng thành một số nguyên/số thực có độ chính xác đơn. |
Khi sử dụng toán tử chứa biểu thức chính quy, bạn có thể tạo biểu thức trong RE2 . Biểu thức chính quy có thể khớp với toàn bộ hoặc một phần của phiên bản đích . Bạn cũng có thể sử dụng các neo ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. | |
| Quốc gia/Vùng | Không áp dụng | Một hoặc nhiều quốc gia/khu vực dùng để chọn những người dùng có thể được đưa vào trong thử nghiệm. | ||
| Ngôn ngữ | Không áp dụng | Một hoặc nhiều ngôn ngữ và khu vực dùng để chọn những người dùng có thể được đưa vào trong thử nghiệm. | ||
| Mở lần đầu |
Trước Sau |
Nhắm đến người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn:
|
Bạn sẽ có thể nhắm mục tiêu người dùng theo lần mở đầu tiên sau khi chọn một ứng dụng trên Android hoặc iOS . Tính năng này hiện được SDK Remote Config sau hỗ trợ phiên bản: SDK nền tảng Apple phiên bản 9.0.0 trở lên và SDK Android phiên bản 21.1.1 trở lên (Firebase BoM phiên bản 30.3.0 trở lên). Analytics cũng phải có được bật trên máy khách trong sự kiện mở đầu tiên. |
A/B Testing chỉ số
Khi tạo thử nghiệm, bạn chọn chỉ số chính hoặc mục tiêu, tức là dùng để xác định biến thể chiến thắng. Bạn cũng nên theo dõi các chỉ số khác để giúp bạn hiểu rõ hơn về hiệu suất của từng biến thể thử nghiệm và theo dõi các xu hướng quan trọng có thể khác nhau đối với từng biến thể (chẳng hạn như tỷ lệ giữ chân người dùng, tỷ lệ giữ chân người dùng, ứng dụng) độ ổn định và doanh thu mua hàng trong ứng dụng. Bạn có thể theo dõi tối đa 5 mục tiêu không phải trong thử nghiệm của mình.
Ví dụ: giả sử bạn đang sử dụng Remote Config để phát hành hai trò chơi khác nhau trong ứng dụng của bạn và muốn tối ưu hoá cho lượt mua hàng trong ứng dụng cũng như doanh thu từ quảng cáo, nhưng bạn cũng muốn theo dõi độ ổn định và tỷ lệ giữ chân người dùng của từng biến thể. Trong trường hợp này, bạn có thể cân nhắc chọn Tổng doanh thu ước tính làm vì chỉ số này bao gồm doanh thu từ giao dịch mua hàng trong ứng dụng và doanh thu từ quảng cáo, và thì đối với Các chỉ số khác cần theo dõi, bạn có thể thêm những thông tin sau:
- Để theo dõi tỷ lệ giữ chân người dùng hằng ngày và hằng tuần, hãy thêm Tỷ lệ giữ chân (2-3 ngày) và Tỷ lệ giữ chân (4-7 ngày).
- Để so sánh độ ổn định giữa hai luồng trò chơi, hãy thêm Người dùng không gặp sự cố.
- Để xem số lượt xem chi tiết hơn của từng loại doanh thu, hãy thêm Doanh thu từ giao dịch mua hàng và Doanh thu quảng cáo ước tính.
Các bảng sau đây cung cấp thông tin chi tiết về cách chỉ số mục tiêu và các chỉ số khác được tính.
Chỉ số Mục tiêu
| Chỉ số | Mô tả |
|---|---|
| Số người dùng không gặp sự cố | Tỷ lệ phần trăm người dùng chưa gặp phải lỗi trong ứng dụng của bạn mà SDK Firebase Crashlytics phát hiện thấy trong quá trình thử nghiệm. |
| Doanh thu quảng cáo ước tính | Thu nhập ước tính từ quảng cáo. |
| Tổng doanh thu ước tính | Giá trị kết hợp cho giao dịch mua hàng và doanh thu ước tính từ quảng cáo. |
| Doanh thu từ giao dịch mua hàng | Giá trị kết hợp cho tất cả purchase và
in_app_purchase sự kiện.
|
| Tỷ lệ giữ chân người dùng (1 ngày) | Số người dùng quay lại ứng dụng của bạn hằng ngày. |
| Tỷ lệ giữ chân người dùng (2-3 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 2 đến 3 ngày. |
| Tỷ lệ giữ chân người dùng (4-7 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 4-7 ngày. |
| Tỷ lệ giữ chân người dùng (8-14 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 8-14 ngày. |
| Tỷ lệ giữ chân người dùng (từ 15 ngày trở lên) | Số người dùng quay lại ứng dụng của bạn sau 15 ngày trở lên sử dụng nó lần cuối. |
| first_open | Một sự kiện Analytics kích hoạt khi người dùng mở ứng dụng lần đầu tiên sau cài đặt hoặc cài đặt lại tiện ích đó. Được dùng trong một phễu chuyển đổi. |
Chỉ số khác
| Chỉ số | Mô tả |
|---|---|
| notification_dismiss | Một sự kiện Analytics sẽ kích hoạt khi thông báo được gửi từ trình soạn Thông báo sẽ bị loại bỏ (chỉ Android). |
| notification_receive | Một sự kiện Analytics sẽ kích hoạt khi thông báo được gửi từ trình soạn Thông báo được nhận khi ứng dụng đang chạy trong nền (chỉ dành cho Android). |
| os_update | Một sự kiện Analytics theo dõi thời điểm hệ điều hành của thiết bị đã cập nhật lên phiên bản mới.Để tìm hiểu thêm, hãy xem Tự động sự kiện đã thu thập. |
| screen_view | Một sự kiện Analytics theo dõi các màn hình được xem trong ứng dụng của bạn. Để tìm hiểu xem thêm, xem Theo dõi Lượt xem màn hình. |
| session_start | Một sự kiện Analytics đếm số phiên của người dùng trong ứng dụng của bạn. Để tìm hiểu thêm, xem Tự động sự kiện đã thu thập. |
Xuất dữ liệu BigQuery
Ngoài việc xem dữ liệu thử nghiệm A/B Testing trong bảng điều khiển của Firebase, bạn có thể kiểm tra và phân tích dữ liệu thử nghiệm trong BigQuery. Mặc dù A/B Testing không có một miền riêng biệt Bảng BigQuery, thử nghiệm và thành viên biến thể được lưu trữ trên mỗi Sự kiện Google Analytics trong bảng sự kiện Analytics.
Các thuộc tính người dùng chứa thông tin thử nghiệm có dạng
userProperty.key like "firebase_exp_%" hoặc userProperty.key =
"firebase_exp_01" trong đó 01 là mã thử nghiệm và
userProperty.value.string_value chứa chỉ mục (dựa trên 0) của
biến thể thử nghiệm.
Bạn có thể sử dụng các thuộc tính người dùng thử nghiệm này để trích xuất dữ liệu thử nghiệm. Điều này mang lại cho bạn khả năng chia nhỏ kết quả thử nghiệm theo nhiều cách khác nhau và xác minh kết quả của A/B Testing một cách độc lập.
Để bắt đầu, hãy hoàn thành các bước sau theo mô tả trong hướng dẫn này:
- Bật tính năng xuất dữ liệu BigQuery cho Google Analytics trong Firebase bảng điều khiển
- Truy cập dữ liệu của A/B Testing bằng BigQuery
- Khám phá các truy vấn mẫu
Bật tính năng xuất dữ liệu BigQuery cho Google Analytics trong bảng điều khiển của Firebase
Nếu đang dùng gói Spark, bạn có thể sử dụng Hộp cát BigQuery sang truy cập vào BigQuery mà không mất phí, tuân theo Giới hạn của Hộp cát. Xem Giá và hộp cát BigQuery để biết thêm thông tin.
Trước tiên, hãy đảm bảo rằng bạn đang xuất dữ liệu trên Analytics sang BigQuery:
- Mở thẻ Tích hợp, mà bạn có thể truy cập bằng > Cài đặt dự án trong bảng điều khiển Firebase.
- Nếu bạn đang sử dụng BigQuery cùng với các dịch vụ Firebase khác, nhấp vào Quản lý. Nếu không, hãy nhấp vào Liên kết.
- Xem bài viết Giới thiệu về cách liên kết Firebase với BigQuery, rồi nhấp vào Tiếp theo.
- Trong phần Định cấu hình chế độ tích hợp, hãy bật Bật/tắt Google Analytics.
Chọn một khu vực rồi chọn chế độ xuất.
Nhấp vào Liên kết với BigQuery.
Tuỳ thuộc vào cách bạn chọn xuất dữ liệu, có thể mất tối đa một ngày để bảng mới. Để biết thêm thông tin về cách xuất dữ liệu dự án sang BigQuery, xem Xuất dữ liệu của dự án sang BigQuery.
Truy cập dữ liệu A/B Testing trong BigQuery
Trước khi truy vấn dữ liệu cho một thử nghiệm cụ thể, bạn sẽ muốn có được một số hoặc tất cả các thuộc tính sau để sử dụng trong truy vấn của bạn:
- Mã thử nghiệm: Bạn có thể lấy mã này từ URL của
Tổng quan về thử nghiệm. Ví dụ: nếu URL của bạn có dạng
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, mã thử nghiệm là 25. - Mã tài sản Google Analytics: Đây là gồm 9 chữ số của bạn
Mã thuộc tính Google Analytics. Bạn có thể tìm thấy thông tin này trong
Google Analytics; nó cũng xuất hiện trong BigQuery khi bạn mở rộng
tên dự án để hiện tên sự kiện Google Analytics của bạn
bảng (
project_name.analytics_000000000.events). - Ngày thử nghiệm: Để soạn một truy vấn nhanh hơn và hiệu quả hơn,
một phương pháp hay để giới hạn truy vấn của bạn ở mức Google Analytics hằng ngày
phân vùng bảng sự kiện chứa dữ liệu thử nghiệm của bạn (các bảng)
được xác định bằng hậu tố
YYYYMMDD. Vì vậy, nếu thử nghiệm của bạn chạy từ Từ ngày 2 tháng 2 năm 2024 đến ngày 2 tháng 5 năm 2024, bạn sẽ chỉ định một_TABLE_SUFFIX between '20240202' AND '20240502'. Để biết ví dụ, hãy xem Chọn các giá trị của một thử nghiệm cụ thể. - Tên sự kiện: Thông thường, những tên này tương ứng với
chỉ số về mục tiêu
mà bạn đã thiết lập trong thử nghiệm. Ví dụ:
in_app_purchasesự kiện, sự kiệnad_impressionhoặcuser_retention.
Sau khi thu thập thông tin cần thiết để tạo truy vấn:
- Mở BigQuery trong bảng điều khiển Google Cloud.
- Chọn dự án của bạn, sau đó chọn Tạo truy vấn SQL.
- Thêm truy vấn của bạn. Để biết ví dụ về các truy vấn để chạy, hãy xem Khám phá các truy vấn mẫu.
- Nhấp vào Run (Chạy).
Truy vấn dữ liệu thử nghiệm bằng cách sử dụng truy vấn được tạo tự động của bảng điều khiển Firebase
Nếu bạn đang sử dụng Gói linh hoạt, thì trang Tổng quan về thử nghiệm sẽ cung cấp truy vấn mẫu trả về tên thử nghiệm, biến thể, tên sự kiện và số lượng sự kiện cho thử nghiệm mà bạn đang xem.
Để lấy và chạy truy vấn được tạo tự động:
- Trong bảng điều khiển Firebase, hãy mở A/B Testing và chọn thử nghiệm A/B Testing mà bạn muốn truy vấn để mở Tổng quan về thử nghiệm.
- Trong trình đơn Tuỳ chọn, bên dưới mục Tích hợp BigQuery, hãy chọn Truy vấn dữ liệu thử nghiệm. Thao tác này sẽ mở dự án của bạn trong BigQuery trong bảng điều khiển Google Cloud và cung cấp một truy vấn cơ bản mà bạn có thể sử dụng để truy vấn dữ liệu thử nghiệm của bạn.
Ví dụ sau đây trình bày một truy vấn được tạo cho thử nghiệm với ba biến thể (bao gồm cả biến thể cơ sở) có tên là "Thử nghiệm chào mừng mùa đông". Phương thức này trả về tên thử nghiệm đang hoạt động, tên biến thể, sự kiện duy nhất và số lượng sự kiện cho mỗi sự kiện. Lưu ý rằng trình tạo truy vấn không chỉ định tên dự án trong tên bảng vì tên này sẽ mở trực tiếp trong dự án của bạn.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Để xem thêm các ví dụ về truy vấn, hãy chuyển đến Khám phá các truy vấn mẫu.
Khám phá các cụm từ tìm kiếm mẫu
Các phần sau đây cung cấp ví dụ về các truy vấn mà bạn có thể sử dụng để trích xuất A/B Testing dữ liệu thử nghiệm từ Google Analytics bảng sự kiện.
Trích xuất giá trị độ lệch chuẩn của giao dịch mua và thử nghiệm từ tất cả thử nghiệm
Bạn có thể dùng dữ liệu kết quả thử nghiệm để tự xác minh
Kết quả Firebase A/B Testing. Câu lệnh SQL BigQuery sau đây
trích xuất thử nghiệm
biến thể, số lượng người dùng riêng biệt trong mỗi biến thể và tổng doanh thu
từ các sự kiện in_app_purchase và ecommerce_purchase cũng như độ lệch chuẩn
cho tất cả thử nghiệm trong phạm vi thời gian được chỉ định là _TABLE_SUFFIX bắt đầu
và ngày kết thúc. Bạn có thể sử dụng dữ liệu bạn có được từ truy vấn này bằng
trình tạo ý nghĩa thống kê cho phép kiểm t một phía để xác minh rằng
kết quả mà Firebase cung cấp phù hợp với phân tích của riêng bạn.
Để biết thêm thông tin về cách A/B Testing tính toán suy luận, hãy xem Diễn giải kết quả thử nghiệm.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Chọn các giá trị của một thử nghiệm cụ thể
Truy vấn mẫu sau minh hoạ cách lấy dữ liệu cho một chỉ số cụ thể thử nghiệm trong BigQuery. Truy vấn mẫu này trả về tên thử nghiệm, tên biến thể (bao gồm cả Đường cơ sở), tên sự kiện và số lượng sự kiện.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName