Hướng dẫn này cung cấp thông tin về các khái niệm chính liên quan đến việc triển khai Remote Config, để bạn có thể:
- Tìm hiểu cách hoạt động của tư cách thành viên trong nhóm triển khai.
- Biết thời điểm nên sử dụng tính năng triển khai và thời điểm nên sử dụng Thử nghiệm A/B.
- Tìm hiểu cách diễn giải kết quả triển khai.
Tìm hiểu về tư cách thành viên trong nhóm triển khai
Khi bạn tạo một bản phát hành mới và chỉ định tỷ lệ phần trăm, Firebase sẽ chia đối tượng thành các nhóm có kích thước bằng nhau để có kết quả chính xác khi so sánh hiệu suất của tính năng đã bật, dẫn đến các nhóm sau.
- Đã bật: Thiết bị của người dùng được chỉ định cho nhóm này sẽ nhận được giá trị mà bạn định cấu hình trong bản triển khai.
- Đối chứng: Thiết bị của người dùng được chỉ định cho nhóm này sẽ nhận được giá trị mà lẽ ra họ sẽ nhận được từ Remote Config, chứ không phải giá trị triển khai.
- Chưa chỉ định: Thiết bị của người dùng trong nhóm này sẽ nhận được giá trị mà lẽ ra họ sẽ nhận được từ Remote Config, nhưng không được dùng trong kết quả so sánh bản triển khai.
Tức là nếu bạn triển khai cho 2% người dùng, thì họ sẽ được thêm vào nhóm Đã bật và thêm 2% người dùng nữa sẽ được thêm vào nhóm Đối chứng (được dùng để so sánh). 96% người dùng còn lại sẽ ở nhóm Chưa chỉ định.
Phương pháp này đảm bảo so sánh công bằng giữa hiệu suất của người dùng và thiết bị nhận được giá trị triển khai và những người dùng và thiết bị không nhận được giá trị triển khai, đồng thời cho phép bạn xác định hiệu quả thành công hay thất bại của bản triển khai trên trang Kết quả triển khai.
Việc chỉ định nhóm triển khai nhất quán trong tất cả các giai đoạn của bản triển khai. Tức là, trong cùng một bản triển khai, nếu bạn giảm tỷ lệ phần trăm xuống 0%, thì tất cả người dùng sẽ quay lại nhận giá trị tham số được xác định trong Remote Config mẫu. Nếu sau này bạn quyết định tăng tỷ lệ phần trăm triển khai, thì những người dùng thuộc nhóm Đã bật hoặc Đối chứng trước đó sẽ quay lại nhóm mà họ được chỉ định ban đầu và sẽ nhận được các giá trị nhất quán với các nhóm đó.
Khi bạn xác minh rằng bản phát hành của mình thành công và quyết định phát hành đầy đủ cho 100% người dùng được nhắm mục tiêu, Firebase sẽ không còn sử dụng nhóm đối chứng nữa và tất cả người dùng và thiết bị được nhắm mục tiêu sẽ nhận được giá trị triển khai.
Khi nào nên sử dụng bản triển khai so với thử nghiệm A/B?
Bản triển khai Remote Config và A/B Testing phù hợp với các trường hợp sử dụng hơi khác nhau và có thể được sử dụng theo cách bổ sung.
Bản triển khai là các bản phát hành dần dần và thường được dùng để phát hành một tính năng mới cho một nhóm người dùng được chọn. Bạn có thể muốn nhắm mục tiêu đến người dùng ở một quốc gia cụ thể hoặc sử dụng một phiên bản cụ thể của ứng dụng. Hãy sử dụng bản triển khai để giảm thiểu rủi ro, thử nghiệm các tính năng mới trong môi trường thực tế, với các biện pháp kiểm soát chặt chẽ, để bạn có thể xem hiệu suất của tính năng. Bạn cũng có thể theo dõi hiệu suất của các dịch vụ phụ trợ khi có thêm tải của tính năng mới và ước tính mức sử dụng để đảm bảo thay đổi của bạn có thể mở rộng quy mô trước khi phát hành cho đối tượng rộng hơn.
Bản triển khai là công cụ tuyệt vời cho những trường hợp bạn đang triển khai các tính năng mới làm thay đổi đáng kể chức năng, những thay đổi có thể dẫn đến kết quả không thể đoán trước hoặc những thay đổi có thể ảnh hưởng đến cơ sở hạ tầng, dịch vụ phụ trợ hoặc API bên ngoài.
A/B Testing cho phép bạn trình bày nhiều phiên bản của một tính năng hoặc thành phần ứng dụng, chẳng hạn như cập nhật giao diện người dùng, thay đổi nội dung quảng cáo, cập nhật độ khó của cấp độ trò chơi. Sau đó, bạn có thể hiển thị các biến thể khác nhau cho người dùng để tìm hiểu xem tùy chọn nào mang lại kết quả tốt hơn dựa trên chỉ số bạn chọn (như mức độ tương tác của người dùng, số lượt nhấp vào quảng cáo và doanh thu).
Sử dụng A/B Testing để đưa ra quyết định dựa trên dữ liệu, tối ưu hoá và tìm hiểu các lựa chọn ưu tiên của người dùng. Tính năng này rất phù hợp cho những trường hợp bạn có nhiều lựa chọn có thể so sánh và mục tiêu rất cụ thể. Ví dụ: A/B Testing phù hợp với những thay đổi mà bạn muốn điều chỉnh ứng dụng để cải thiện một chỉ số cụ thể, chẳng hạn như thử nghiệm vị trí đặt quảng cáo biểu ngữ nào mang lại nhiều lượt nhấp hơn.
Bạn cũng nên kết hợp bản triển khai Remote Config và A/B Testing trong một chiến lược tổng thể: Trước tiên, hãy tạo Thử nghiệm A/B với một nhóm người dùng bị hạn chế để xác định biến thể tạo ra kết quả tối ưu cho các chỉ số chính. Sau đó, sau khi A/B Testing đã xác định được biến thể có hiệu suất tốt nhất, hãy tạo một bản triển khai với biến thể đó. Theo dõi tính ổn định và các chỉ số chính khi bạn tăng dần số lượng người dùng được hiển thị và sau khi bạn tự tin về hiệu suất của biến thể đó, hãy triển khai cho 100% người dùng.
Tìm hiểu kết quả triển khai
Sau khi phát hành bản triển khai, bạn sẽ thấy kết quả gần như ngay lập tức.
Bạn có thể xem kết quả theo nhiều cách:
- Trên trang Tham số , hãy mở rộng tham số mà bạn đã định cấu hình cho bản triển khai và bên dưới bản triển khai, hãy nhấp vào Xem kết quả.
- Trên trang Bản triển khai, hãy nhấp vào tên bản triển khai.
Bộ chọn ứng dụng ở đầu trang Kết quả cho phép bạn chọn chế độ xem cho các ứng dụng cụ thể. Kết quả được chia thành nhiều phần:
- Phần Tóm tắt cho biết Tỷ lệ phần trăm triển khai đã định cấu hình và cho phép bạn khôi phục hoặc chỉnh sửa bản triển khai. Khi được mở rộng, phần này sẽ cho thấy Thông tin tổng quan về thông tin chi tiết về cấu hình của bản triển khai và Nhật ký thay đổi.
Phần Người dùng cho biết số lượt cài đặt ứng dụng riêng biệt đã tìm nạp mẫu triển khai trong các nhóm sau:
- Đã bật: Số thực thể ứng dụng khớp với điều kiện triển khai mục tiêu và đã tìm nạp giá trị triển khai.
- Đối chứng: Số thực thể ứng dụng khớp với điều kiện triển khai mục tiêu và đã tìm nạp giá trị không thay đổi.
- Mục tiêu: Tổng số thực thể ước tính khớp với điều kiện mà bạn đặt trong bản phát hành, sẽ nhận được giá trị phát hành hoặc giá trị không thay đổi.
Tìm hiểu thêm tại bài viết Tìm hiểu về tư cách thành viên trong nhóm triển khai.
Các phần Crashlytics và Analytics cho thấy dữ liệu so sánh cho các nhóm Đã bật và Đối chứng. Bạn có thể lọc dữ liệu đã thu thập cho 24 giờ qua, Kể từ lần phát hành gần đây nhất hoặc 7 ngày qua. 24 giờ qua là chế độ xem mặc định.
Crashlytics kết quả cho bản triển khai
Bạn có thể thấy tổng số Sự cố, Lỗi không nghiêm trọng và Lỗi ANR đã xảy ra trong quá trình triển khai. Mỗi danh mục kết quả cho thấy một biểu đồ thanh so sánh tổng số thô của người dùng Đã bật và Đối chứng đáp ứng điều kiện của bản triển khai.
- Sự cố: Cho biết số lượng và tỷ lệ phần trăm sự cố, cũng như số người dùng riêng biệt gặp phải sự cố cho các nhóm Đã bật và Đối chứng.
- Lỗi không nghiêm trọng: Cho biết số lượng và tỷ lệ phần trăm lỗi không nghiêm trọng, số người dùng riêng biệt gặp phải lỗi không nghiêm trọng.
- Lỗi ANR (chỉ dành cho ứng dụng Android): Cho biết số lượng và tỷ lệ phần trăm sự kiện "Ứng dụng không phản hồi", cũng như số người dùng riêng biệt gặp phải một hoặc nhiều sự kiện ANR.
Để biết thông tin chi tiết hơn về sự cố, bạn có thể nhấp vào Xem thêm trong Crashlytics. Thao tác này sẽ mở trang Crashlytics với một bộ lọc đang hoạt động cho bản triển khai mà bạn đang kiểm tra kết quả. Kết quả triển khai trên trang Crashlytics đo lường tất cả người dùng từng được hiển thị biến thể tương ứng, Đã bật hoặc Đối chứng. Bạn có thể chọn xem sự cố của nhóm Đối chứng, sự cố của nhóm Đã bật hoặc cả hai.
Google Analytics kết quả cho bản triển khai
Phần kết quả triển khai Google Analytics so sánh Analytics chỉ số cho tất cả người dùng từng được hiển thị cho các nhóm Đã bật hoặc Đối chứng một cách chi tiết và ở chế độ xem biểu đồ. Có 3 chỉ số được cung cấp:
- Tổng doanh thu: Cho biết tổng doanh thu, bao gồm cả Doanh thu từ quảng cáo và Doanh thu từ giao dịch mua, tính bằng USD. Bạn có thể lọc kết quả để chỉ hiển thị kết quả cho Doanh thu từ quảng cáo hoặc Doanh thu từ giao dịch mua.
- Tổng số lượt chuyển đổi: Cho biết số lượng thô của tổng tất cả các sự kiện chuyển đổi. Bạn có thể lọc kết quả theo lượt chuyển đổi mà bạn muốn làm nổi bật.
- Tổng thời gian tương tác: Cho biết tổng thời gian tương tác mà người dùng đã dành cho một trong các biến thể triển khai. Tổng thời gian tương tác được hiển thị ở định dạng Giờ:Phút:Giây. Ví dụ: 01:31:28. Biểu đồ cho thấy dữ liệu từ khoảng thời gian mà bạn đã chọn ở trên phần Crashlytics