Khi liên hệ với người dùng hoặc bắt đầu một chiến dịch tiếp thị mới, bạn cần đảm bảo rằng bạn đã làm đúng. Thử nghiệm A/B có thể giúp bạn tìm ra cách diễn đạt và trình bày tối ưu bằng cách thử nghiệm các biến thể thông báo trên một số phần được chọn trong cơ sở người dùng của bạn. Cho dù mục tiêu của bạn là giữ chân người dùng hay tăng lượt chuyển đổi cho một sản phẩm, dịch vụ, thử nghiệm A/B đều có thể thực hiện phân tích thống kê để xác định xem một biến thể của thông báo có hoạt động hiệu quả hơn so với đường cơ sở cho mục tiêu bạn đã chọn hay không.
Để thử nghiệm A/B các biến thể tính năng với một đường cơ sở, hãy làm như sau:
- Tạo thử nghiệm.
- Xác thực thử nghiệm trên thiết bị kiểm thử.
- Quản lý thử nghiệm.
Tạo thử nghiệm
Thử nghiệm sử dụng Firebase In-App Messaging cho phép bạn đánh giá nhiều biến thể của một thông báo duy nhất trong ứng dụng.
Đăng nhập vào bảng điều khiển Firebase và xác minh rằng Google Analytics đã được bật trong dự án của bạn để thử nghiệm có quyền truy cập vào dữ liệu Analytics.
Nếu chưa bật Google Analytics khi tạo dự án, bạn có thể bật tính năng này trên thẻ Tích hợp. Bạn có thể truy cập vào thẻ này bằng cách sử dụng > Cài đặt dự án trong bảng điều khiển Firebase.
Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
Nhấp vào Tạo thử nghiệm, rồi chọn Thông báo trong ứng dụng khi được nhắc chọn dịch vụ bạn muốn thử nghiệm.
Hoặc trên trình đơn điều hướng Firebase bảng điều khiển, hãy mở rộng Tương tác, rồi nhấp vào In-App Messaging. Sau đó, hãy nhấp vào Thử nghiệm mới.
Nhập Tên và Nội dung mô tả (không bắt buộc) cho thử nghiệm của bạn, rồi nhấp vào Tiếp theo.
Điền vào các trường Nhắm mục tiêu, trước tiên hãy chọn ứng dụng sử dụng thử nghiệm của bạn. Bạn cũng có thể nhắm đến một nhóm nhỏ người dùng để tham gia thử nghiệm bằng cách chọn các lựa chọn sau:
- Phiên bản: Một hoặc nhiều phiên bản của ứng dụng
- Đối tượng người dùng: Analytics đối tượng được dùng để nhắm đến những người dùng có thể được đưa vào thử nghiệm
- Thuộc tính người dùng: Một hoặc nhiều thuộc tính người dùng Analytics để chọn những người dùng có thể được đưa vào thử nghiệm
- Quốc gia/Khu vực: Ít nhất một quốc gia hoặc khu vực để chọn những người dùng có thể được đưa vào thử nghiệm
- Ngôn ngữ trên thiết bị: Một hoặc nhiều ngôn ngữ và ngôn ngữ địa phương được dùng để chọn những người dùng có thể tham gia thử nghiệm
- Lần mở đầu tiên: Nhắm đến người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn
- Lần tương tác gần đây nhất với ứng dụng: Nhắm đến người dùng dựa trên lần gần đây nhất họ tương tác với ứng dụng của bạn
Đặt Tỷ lệ phần trăm người dùng mục tiêu: Chọn tỷ lệ phần trăm cơ sở người dùng của ứng dụng khớp với tiêu chí được đặt trong mục Người dùng mục tiêu mà bạn muốn chia đều giữa đường cơ sở và một hoặc nhiều biến thể trong thử nghiệm. Đây có thể là bất kỳ tỷ lệ phần trăm nào trong khoảng từ 0,01% đến 100%. Tỷ lệ phần trăm được chỉ định lại ngẫu nhiên cho người dùng đối với mỗi thử nghiệm, kể cả các thử nghiệm trùng lặp.
Trong phần Biến thể, hãy định cấu hình một thông báo cơ bản trong ứng dụng để gửi đến nhóm cơ sở bằng cách sử dụng giao diện thiết kế thông báo mà bạn dùng cho một chiến dịch nhắn tin thông thường trong ứng dụng.
Để thêm một biến thể vào thử nghiệm, hãy nhấp vào Thêm biến thể. Theo mặc định, các thử nghiệm có một đường cơ sở và một biến thể.
(không bắt buộc) Nhập tên mô tả chi tiết hơn cho từng biến thể.
(không bắt buộc) Ở đầu mục Biến thể, hãy nhấp vào nút So sánh biến thể để so sánh thêm một biến thể thông báo với thông báo cơ sở.
Xác định một chỉ số mục tiêu cho thử nghiệm để sử dụng khi đánh giá các biến thể thử nghiệm cùng với mọi chỉ số bổ sung mà bạn muốn sử dụng trong danh sách. Các chỉ số này bao gồm các mục tiêu tích hợp sẵn (lượt tương tác, lượt mua hàng, doanh thu, tỷ lệ giữ chân, v.v.), sự kiện chuyển đổi Analytics và các sự kiện Analytics khác.
Định cấu hình lịch biểu cho thử nghiệm:
- Đặt Ngày bắt đầu và Ngày kết thúc cho thử nghiệm.
- Đặt cách kích hoạt thông báo trong ứng dụng trên tất cả các biến thể.
Nhấp vào Xem xét để lưu thử nghiệm.
Bạn được phép có tối đa 300 thử nghiệm cho mỗi dự án, trong đó có thể có tối đa 24 thử nghiệm đang chạy, còn lại là bản nháp hoặc đã hoàn thành.
Xác thực thử nghiệm trên thiết bị thử nghiệm
Đối với mỗi lượt cài đặt Firebase, bạn có thể truy xuất mã thông báo xác thực lượt cài đặt được liên kết với lượt cài đặt đó. Bạn có thể dùng mã thông báo này để kiểm thử các biến thể thử nghiệm cụ thể trên một thiết bị kiểm thử đã cài đặt ứng dụng của bạn. Để xác thực thử nghiệm trên một thiết bị kiểm thử, hãy làm như sau:
- Lấy mã thông báo xác thực cài đặt như sau:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- Trên thanh điều hướng Firebasebảng điều khiển, hãy nhấp vào Thử nghiệm A/B.
- Nhấp vào Bản nháp (và/hoặc Đang chạy đối với các thử nghiệm Cấu hình từ xa), di chuột qua thử nghiệm của bạn, nhấp vào trình đơn theo bối cảnh (more_vert), rồi nhấp vào Quản lý thiết bị thử nghiệm.
- Nhập mã thông báo uỷ quyền cài đặt cho một thiết bị thử nghiệm và chọn biến thể thử nghiệm để gửi đến thiết bị thử nghiệm đó.
- Chạy ứng dụng và xác nhận rằng biến thể đã chọn đang được nhận trên thiết bị kiểm thử.
Để tìm hiểu thêm về lượt cài đặt Firebase, hãy xem bài viết Quản lý lượt cài đặt Firebase.
Quản lý thử nghiệm
Cho dù bạn tạo thử nghiệm bằng Remote Config, Trình soạn thảo thông báo hay Firebase In-App Messaging, bạn đều có thể xác thực và bắt đầu thử nghiệm, theo dõi thử nghiệm trong khi thử nghiệm đang chạy và tăng số lượng người dùng tham gia thử nghiệm đang chạy.
Khi thử nghiệm kết thúc, bạn có thể ghi lại các chế độ cài đặt mà biến thể hiệu quả nhất đã sử dụng, sau đó triển khai các chế độ cài đặt đó cho tất cả người dùng. Hoặc bạn có thể chạy một thử nghiệm khác.
Bắt đầu thử nghiệm
- Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
- Nhấp vào Bản nháp, rồi nhấp vào tiêu đề của thử nghiệm.
- Để xác thực rằng ứng dụng của bạn có những người dùng sẽ được đưa vào thử nghiệm, hãy mở rộng thông tin chi tiết về bản nháp và kiểm tra xem có số nào lớn hơn 0% trong mục Nhắm mục tiêu và phân phối hay không (ví dụ: 1% người dùng đáp ứng tiêu chí).
- Để thay đổi thử nghiệm, hãy nhấp vào Chỉnh sửa.
- Để bắt đầu thử nghiệm, hãy nhấp vào Bắt đầu thử nghiệm. Bạn có thể chạy tối đa 24 thử nghiệm cho mỗi dự án cùng một lúc.
Theo dõi thử nghiệm
Sau khi thử nghiệm chạy được một thời gian, bạn có thể kiểm tra tiến trình và xem kết quả của những người dùng đã tham gia thử nghiệm cho đến thời điểm hiện tại.
- Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
Nhấp vào Đang chạy, sau đó nhấp vào hoặc tìm kiếm tiêu đề của thử nghiệm. Trên trang này, bạn có thể xem nhiều số liệu thống kê được quan sát và được mô hình hoá về thử nghiệm đang chạy, bao gồm:
- % chênh lệch so với đường cơ sở: Chỉ số đo lường mức độ cải thiện của một chỉ số cho một biến thể nhất định so với đường cơ sở. Được tính bằng cách so sánh phạm vi giá trị của biến thể với phạm vi giá trị của đường cơ sở.
- Xác suất vượt qua đường cơ sở: Xác suất ước tính rằng một biến thể nhất định sẽ vượt qua đường cơ sở cho chỉ số đã chọn.
- observed_metric cho mỗi người dùng: Dựa trên kết quả thử nghiệm, đây là phạm vi dự đoán mà giá trị chỉ số sẽ nằm trong đó theo thời gian.
- Tổng số observed_metric: Giá trị tích luỹ quan sát được cho đường cơ sở hoặc biến thể. Giá trị này được dùng để đo lường hiệu suất của từng biến thể thử nghiệm và được dùng để tính Mức độ cải thiện, Phạm vi giá trị, Xác suất đánh bại đường cơ sở và Xác suất trở thành biến thể hiệu quả nhất. Tuỳ thuộc vào chỉ số được đo lường, cột này có thể được gắn nhãn "Thời lượng trên mỗi người dùng", "Doanh thu trên mỗi người dùng", "Tỷ lệ giữ chân" hoặc "Tỷ lệ chuyển đổi".
Sau khi thử nghiệm của bạn chạy một thời gian (ít nhất 7 ngày đối với FCM và In-App Messaging hoặc 14 ngày đối với Remote Config), dữ liệu trên trang này sẽ cho biết biến thể nào (nếu có) là "biến thể hiệu quả nhất". Một số chỉ số đi kèm với biểu đồ thanh trình bày dữ liệu ở định dạng trực quan.
Triển khai thử nghiệm cho tất cả người dùng
Sau khi thử nghiệm chạy đủ lâu để bạn tìm được "biến thể dẫn đầu" hoặc biến thể có hiệu quả cho chỉ số mục tiêu, bạn có thể phát hành thử nghiệm cho 100% người dùng. Điều này cho phép bạn chọn một biến thể để áp dụng cho tất cả người dùng trong tương lai. Ngay cả khi thử nghiệm của bạn chưa tạo được biến thể có hiệu quả rõ ràng, bạn vẫn có thể chọn phát hành một biến thể cho tất cả người dùng.
- Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
- Nhấp vào Đã hoàn tất hoặc Đang chạy, nhấp vào một thử nghiệm mà bạn muốn phát hành cho tất cả người dùng, nhấp vào trình đơn theo bối cảnh () Triển khai biến thể.
Triển khai thử nghiệm cho tất cả người dùng bằng cách thực hiện một trong những cách sau:
- Đối với một thử nghiệm sử dụng trình soạn thông báo, hãy dùng hộp thoại Thông báo phát hành để gửi thông báo đến những người dùng mục tiêu còn lại không tham gia thử nghiệm.
- Đối với thử nghiệm Remote Config, hãy chọn một biến thể để xác định những giá trị tham số Remote Config cần cập nhật. Tiêu chí nhắm mục tiêu được xác định khi tạo thử nghiệm sẽ được thêm làm một điều kiện mới trong mẫu của bạn, nhằm đảm bảo việc triển khai chỉ ảnh hưởng đến những người dùng mà thử nghiệm nhắm đến. Sau khi nhấp vào Xem trong Cấu hình từ xa để xem các thay đổi, hãy nhấp vào Xuất bản các thay đổi để hoàn tất việc triển khai.
- Đối với thử nghiệm In-App Messaging, hãy sử dụng hộp thoại để xác định biến thể nào cần được triển khai dưới dạng một chiến dịch In-App Messaging độc lập. Sau khi chọn, bạn sẽ được chuyển hướng đến màn hình soạn FIAM để thực hiện mọi thay đổi (nếu cần) trước khi xuất bản.
Mở rộng thử nghiệm
Nếu nhận thấy một thử nghiệm không thu hút đủ người dùng để A/B Testing có thể tuyên bố biến thể nào hiệu quả hơn, bạn có thể tăng mức phân phối thử nghiệm để tiếp cận tỷ lệ phần trăm lớn hơn trong cơ sở người dùng của ứng dụng.
- Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
- Chọn thử nghiệm đang chạy mà bạn muốn chỉnh sửa.
- Trong phần Tổng quan về thử nghiệm, hãy nhấp vào trình đơn theo bối cảnh (), rồi nhấp vào Chỉnh sửa thử nghiệm đang chạy.
- Hộp thoại Nhắm mục tiêu sẽ hiển thị một lựa chọn để tăng tỷ lệ phần trăm người dùng tham gia thử nghiệm đang chạy. Chọn một số lớn hơn tỷ lệ phần trăm hiện tại rồi nhấp vào Xuất bản. Thử nghiệm sẽ được triển khai cho tỷ lệ phần trăm người dùng mà bạn đã chỉ định.
Sao chép hoặc dừng một thử nghiệm
- Trong phần Tương tác của trình đơn điều hướng Firebaseconsole (bảng điều khiển), hãy nhấp vào biểu tượng A/B Testing.
- Nhấp vào Đã hoàn tất hoặc Đang chạy, di chuyển con trỏ lên thử nghiệm của bạn, nhấp vào trình đơn theo bối cảnh (), rồi nhấp vào Sao chép thử nghiệm hoặc Dừng thử nghiệm.
Nhắm đến người dùng
Bạn có thể nhắm đến những người dùng cần đưa vào thử nghiệm bằng cách sử dụng các tiêu chí nhắm đến người dùng sau đây.
| Tiêu chí nhắm mục tiêu | Đơn vị tổ chức | Giá trị | Lưu ý |
|---|---|---|---|
| Phiên bản | chứa,
không chứa, khớp chính xác, chứa biểu thức chính quy |
Nhập giá trị cho một hoặc nhiều phiên bản ứng dụng mà bạn muốn đưa vào thử nghiệm. |
Khi sử dụng bất kỳ toán tử nào trong số chứa, không chứa hoặc khớp chính xác, bạn có thể cung cấp danh sách giá trị được phân tách bằng dấu phẩy. Khi sử dụng toán tử chứa biểu thức chính quy, bạn có thể tạo biểu thức chính quy ở định dạng RE2. Biểu thức chính quy của bạn có thể khớp với toàn bộ hoặc một phần của chuỗi phiên bản mục tiêu. Bạn cũng có thể sử dụng các điểm neo ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. |
| Đối tượng người dùng | bao gồm tất cả, bao gồm ít nhất một, không bao gồm tất cả, không bao gồm ít nhất một |
Chọn một hoặc nhiều Analytics đối tượng để nhắm đến những người dùng có thể được đưa vào thử nghiệm của bạn. | Một số thử nghiệm nhắm đến đối tượng Google Analytics có thể mất vài ngày để tích luỹ dữ liệu vì phải chịu Analytics độ trễ xử lý dữ liệu. Bạn có nhiều khả năng gặp phải tình trạng chậm trễ này với người dùng mới. Thông thường, họ sẽ được đăng ký vào các đối tượng đủ điều kiện sau 24 đến 48 giờ kể từ khi tạo, hoặc đối với các đối tượng mới tạo. |
| Thuộc tính người dùng | Đối với văn bản:
chứa, không chứa, khớp chính xác, chứa biểu thức chính quy Đối với số: <, ≤, =, ≥, > |
Một thuộc tính người dùng Analytics được dùng để chọn những người dùng có thể được đưa vào một thử nghiệm, với nhiều lựa chọn để chọn các giá trị thuộc tính người dùng.
Trên máy khách, bạn chỉ có thể đặt giá trị kiểu chuỗi cho thuộc tính người dùng. Đối với các điều kiện sử dụng toán tử số, dịch vụ Remote Config sẽ chuyển đổi giá trị của thuộc tính người dùng tương ứng thành số nguyên/số thực. |
Khi sử dụng toán tử chứa biểu thức chính quy, bạn có thể tạo biểu thức chính quy ở định dạng RE2. Biểu thức chính quy của bạn có thể khớp với toàn bộ hoặc một phần của chuỗi phiên bản mục tiêu. Bạn cũng có thể sử dụng các điểm neo ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. |
| Quốc gia/Vùng | Không áp dụng | Một hoặc nhiều quốc gia hoặc khu vực được dùng để chọn những người dùng có thể tham gia thử nghiệm. | |
| Ngôn ngữ | Không áp dụng | Một hoặc nhiều ngôn ngữ và khu vực được dùng để chọn những người dùng có thể được đưa vào thử nghiệm. | |
| Mở lần đầu |
Nhiều hơn
Ít hơn Trong khoảng |
Nhắm đến người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn, được chỉ định theo ngày. | |
| Lượt tương tác gần đây nhất với ứng dụng |
Nhiều hơn
Ít hơn Trong khoảng |
Nhắm đến người dùng dựa trên lần gần đây nhất họ tương tác với ứng dụng của bạn, được chỉ định theo ngày. |
Chỉ số A/B Testing
Khi tạo thử nghiệm, bạn sẽ chọn một chỉ số chính (hoặc mục tiêu) được dùng để xác định biến thể hiệu quả nhất. Bạn cũng nên theo dõi các chỉ số khác để hiểu rõ hơn về hiệu suất của từng biến thể thử nghiệm và theo dõi các xu hướng quan trọng có thể khác nhau đối với từng biến thể, chẳng hạn như tỷ lệ giữ chân người dùng, độ ổn định của ứng dụng và doanh thu từ giao dịch mua hàng trong ứng dụng. Bạn có thể theo dõi tối đa 5 chỉ số không phải là mục tiêu trong thử nghiệm của mình.
Ví dụ: giả sử bạn đã thêm các giao dịch mua hàng mới trong ứng dụng vào ứng dụng của mình và muốn so sánh hiệu quả của hai thông báo "nhắc nhở" khác nhau. Trong trường hợp này, bạn có thể quyết định chọn đặt Doanh thu từ giao dịch mua làm chỉ số mục tiêu vì bạn muốn biến thể chiến thắng đại diện cho thông báo mang lại doanh thu từ giao dịch mua trong ứng dụng cao nhất. Vì bạn cũng muốn theo dõi xem biến thể nào mang lại nhiều lượt chuyển đổi hơn trong tương lai và giữ chân được nhiều người dùng hơn, nên bạn có thể thêm những chỉ số sau vào mục Các chỉ số khác cần theo dõi:- Tổng doanh thu ước tính để xem sự khác biệt về tổng doanh thu từ giao dịch mua hàng trong ứng dụng và doanh thu từ quảng cáo giữa hai biến thể
- Tỷ lệ giữ chân (1 ngày), Tỷ lệ giữ chân (2-3 ngày), Tỷ lệ giữ chân (4-7 ngày) để theo dõi tỷ lệ giữ chân người dùng hằng ngày/hằng tuần
Các bảng sau đây cung cấp thông tin chi tiết về cách tính toán chỉ số mục tiêu và các chỉ số khác.
Chỉ số Mục tiêu
| Chỉ số | Mô tả |
|---|---|
| Số người dùng không gặp sự cố | Tỷ lệ phần trăm người dùng chưa gặp phải lỗi trong ứng dụng của bạn mà Firebase Crashlytics SDK đã phát hiện được trong quá trình thử nghiệm. |
| Doanh thu ước tính từ quảng cáo | Thu nhập ước tính từ quảng cáo. |
| Tổng doanh thu ước tính | Giá trị kết hợp của giao dịch mua và doanh thu ước tính từ quảng cáo. |
| Doanh thu từ giao dịch mua hàng | Giá trị kết hợp cho tất cả sự kiện purchase và in_app_purchase.
|
| Tỷ lệ giữ chân (1 ngày) | Số người dùng quay lại ứng dụng của bạn hằng ngày. |
| Tỷ lệ giữ chân (2-3 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 2 đến 3 ngày. |
| Tỷ lệ giữ chân (4 – 7 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 4 đến 7 ngày. |
| Tỷ lệ giữ chân người dùng (8 – 14 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 8 đến 14 ngày. |
| Tỷ lệ giữ chân (hơn 15 ngày) | Số người dùng quay lại ứng dụng của bạn sau 15 ngày hoặc lâu hơn kể từ lần gần nhất họ sử dụng ứng dụng. |
| first_open | Sự kiện Analytics được kích hoạt khi người dùng mở ứng dụng lần đầu tiên sau khi cài đặt hoặc cài đặt lại ứng dụng đó. Được dùng trong kênh chuyển đổi. |
Chỉ số khác
| Chỉ số | Mô tả |
|---|---|
| notification_dismiss | Một sự kiện Analytics kích hoạt khi một thông báo do Trình soạn thông báo gửi bị loại bỏ (chỉ dành cho Android). |
| notification_receive | Một sự kiện Analytics kích hoạt khi thiết bị nhận được thông báo do Trình soạn thảo thông báo gửi trong lúc ứng dụng đang chạy trong nền (chỉ dành cho Android). |
| os_update | Một sự kiện Analytics theo dõi thời điểm hệ điều hành của thiết bị được cập nhật lên phiên bản mới.Để tìm hiểu thêm, hãy xem bài viết Sự kiện được thu thập tự động. |
| screen_view | Một sự kiện Analytics theo dõi những màn hình được xem trong ứng dụng của bạn. Để tìm hiểu thêm, hãy xem phần Theo dõi lượt xem màn hình. |
| session_start | Một sự kiện Analytics giúp tính số phiên người dùng trong ứng dụng của bạn. Để tìm hiểu thêm, hãy xem bài viết Sự kiện được thu thập tự động. |