Hướng dẫn này cung cấp thông tin về các khái niệm chính liên quan đến việc triển khai Remote Config, nhờ đó bạn có thể:
- Tìm hiểu cách hoạt động của chế độ phát hành tư cách thành viên trong nhóm.
- Nắm rõ thời điểm phát hành và thời điểm nên sử dụng Thử nghiệm A/B.
- Tìm hiểu cách diễn giải kết quả phát hành.
Tìm hiểu về bản phát hành tư cách thành viên trong nhóm
Khi bạn tạo một đợt phát hành mới và chỉ định một tỷ lệ phần trăm, Firebase sẽ đặt một lượng độc giả có quy mô như nhau vào một nhóm đối chứng để có kết quả chính xác khi so sánh hiệu suất của tính năng đã bật, dẫn đến việc các nhóm sau.
- Đã bật: Các thiết bị của người dùng được chỉ định cho nhóm này sẽ nhận được giá trị mà bạn định cấu hình trong quá trình triển khai.
- Kiểm soát: Thiết bị của người dùng được chỉ định cho nhóm này sẽ nhận được giá trị nếu không thì họ lẽ ra đã nhận được từ Remote Config, chứ không phải bản phát hành giá trị.
- Chưa chỉ định: Các thiết bị của người dùng trong nhóm này sẽ nhận được giá trị mà họ sẽ nhận được đã nhận được từ Remote Config, nhưng không được dùng khi phát hành kết quả so sánh.
Tức là nếu bạn ra mắt cho 2% người dùng, họ sẽ được thêm vào danh sách người dùng đang bật và có thêm 2% người dùng được thêm vào nhóm nhóm để so sánh. 96% người dùng vẫn ở trạng thái Chưa được chỉ định.
Phương pháp này đảm bảo việc so sánh công bằng giữa hiệu suất của người dùng và thiết bị nhận được giá trị triển khai và những người dùng và thiết bị không nhận được giá trị triển khai, đồng thời cho phép bạn xác định hiệu quả việc triển khai thành công hay không trên trang Kết quả triển khai.
Việc chỉ định nhóm phát hành phải nhất quán trong tất cả các giai đoạn của quá trình phát hành. Tức là trong cùng một lần triển khai, nếu bạn giảm tỷ lệ phần trăm xuống 0%, tất cả người dùng sẽ quay lại nhận giá trị tham số được xác định trong mẫu Remote Config. Nếu sau đó bạn quyết định tăng tỷ lệ phần trăm phát hành, người dùng của các Nhóm đã bật hoặc Nhóm đối chứng trước đó sẽ quay lại nhóm mà chúng được chỉ định ban đầu và sẽ nhận được các giá trị phù hợp với các nhóm đó.
Khi bạn xác minh được rằng bản phát hành đã thành công và quyết định ra mắt đầy đủ cho 100% người dùng được nhắm mục tiêu, Firebase không còn sử dụng nhóm đối chứng và tất cả người dùng và thiết bị mục tiêu nhận được giá trị phát hành.
Khi nào nên sử dụng phương pháp phát hành và thử nghiệm A/B?
Bản phát hành Remote Config và A/B Testing phù hợp với mục đích sử dụng hơi khác nhau trường hợp và có thể được sử dụng theo cách bổ sung.
Phát hành là bản phát hành dần dần và thường được dùng để phát hành một tính năng mới cho một nhóm người dùng được chọn. Bạn có thể nhắm đến người dùng ở một quốc gia cụ thể hoặc sử dụng một phiên bản cụ thể của ứng dụng. Hãy sử dụng tính năng phát hành để giảm thiểu rủi ro, kiểm thử các tính năng mới trong môi trường thực tế với các biện pháp kiểm soát chặt chẽ để bạn có thể xem tính năng hoạt động như thế nào. Bạn cũng có thể theo dõi cách chương trình phụ trợ của mình các dịch vụ của Google hoạt động với tải bổ sung của tính năng mới và mức sử dụng ước chừng để đảm bảo thay đổi của bạn có thể mở rộng trước khi phát hành cho nhiều đối tượng hơn.
Đợt phát hành là những công cụ tuyệt vời cho những tình huống bạn triển khai các tính năng thay đổi đáng kể chức năng, những thay đổi có thể dẫn đến kết quả khó đoán hoặc những thay đổi có thể ảnh hưởng đến cơ sở hạ tầng phụ trợ của bạn, hoặc API bên ngoài.
A/B Testing cho phép bạn trình bày nhiều phiên bản của một tính năng hoặc thành phần ứng dụng, chẳng hạn như cập nhật giao diện người dùng, thay đổi nội dung quảng cáo, cập nhật độ khó của cấp độ trò chơi. Sau đó, bạn có thể hiển thị nhiều biến thể cho người dùng để tìm hiểu xem lựa chọn nào mang lại kết quả tốt hơn dựa trên chỉ số mà bạn đã chọn (chẳng hạn như mức độ tương tác của người dùng, số lượt nhấp vào quảng cáo và doanh thu).
Sử dụng A/B Testing để ra quyết định, tối ưu hoá dựa trên dữ liệu và việc tìm hiểu ý kiến của người dùng tùy chọn. Sản phẩm này rất hoàn hảo cho những tình huống mà bạn có nhiều lựa chọn tương đương và mục tiêu rất cụ thể. Ví dụ: A/B Testing phù hợp với các thay đổi mà bạn muốn tinh chỉnh ứng dụng để cải thiện một chỉ số cụ thể, chẳng hạn như thử nghiệm xem vị trí đặt quảng cáo biểu ngữ sẽ mang lại nhiều lượt nhấp hơn.
Bạn cũng nên kết hợp hoạt động phát hành Remote Config và A/B Testing trong một chiến lược bao quát: Trước tiên, hãy tạo một Thử nghiệm A/B với một tập hợp người dùng để xác định biến thể tạo ra kết quả tối ưu cho chỉ số chính. Sau đó, sau khi A/B Testing đã xác định a nhà lãnh đạo, hãy tạo một triển khai bằng biến thể giành chiến thắng. Theo dõi độ ổn định và các chỉ số chính khi bạn sẽ tăng số lượng người dùng tiếp xúc và sau khi bạn tự tin vào hiệu suất của quảng cáo, hãy triển khai 100%.
Tìm hiểu kết quả phát hành
Sau khi xuất bản một bản phát hành, bạn sẽ bắt đầu nhận thấy kết quả gần như ngay lập tức.
Bạn có thể xem kết quả theo nhiều cách:
- Từ trang Thông số, hãy mở rộng thông số mà bạn đã định cấu hình cho Tại buổi triển khai và bên dưới phần phát hành, hãy nhấp vào Xem kết quả.
- Trên trang Bản phát hành, hãy nhấp vào tên bản phát hành.
Bộ chọn ứng dụng ở đầu trang Kết quả cho phép bạn chọn các chế độ xem cho các ứng dụng cụ thể. Kết quả được chia thành nhiều phần:
- Phần Tóm tắt, cho thấy Tỷ lệ phần trăm phát hành đã định cấu hình cũng như cho phép người dùng khôi phục hoặc chỉnh sửa hoạt động phát hành. Khi mở rộng, mục này sẽ hiển thị Tổng quan về thông tin chi tiết về cấu hình của bản phát hành và Nhật ký thay đổi.
Phần Người dùng, cho biết số lượng ứng dụng duy nhất đã tìm nạp mẫu phát hành trong các phiên bản sau nhóm:
- Đã bật: Số lượng phiên bản ứng dụng khớp với điều kiện triển khai mục tiêu và đã tìm nạp giá trị triển khai.
- Nhóm đối chứng: Số lượng phiên bản ứng dụng phù hợp với mục tiêu phát hành điều kiện và tìm nạp giá trị không thay đổi.
- Mục tiêu: Tổng số thực thể ước tính khớp với điều kiện bạn đặt trong bản phát hành của mình. Điều kiện này sẽ nhận được phát hành hoặc một giá trị không thay đổi.
Tìm hiểu thêm tại Tìm hiểu về việc phát hành tư cách thành viên trong nhóm.
Các mục Crashlytics và Analytics cho thấy dữ liệu so sánh cho nhóm Đã bật và nhóm Đối chứng. Bạn có thể lọc dữ liệu đã thu thập theo 24 giờ qua, Kể từ lần xuất bản gần đây nhất hoặc 7 ngày qua. 24 giờ qua là chế độ xem mặc định.
Crashlytics kết quả cho các lần triển khai
Bạn có thể xem tổng số Sự cố, Sự cố không nghiêm trọng và Lỗi ANR mà xảy ra trong quá trình phát hành. Mỗi danh mục kết quả sẽ hiển thị một biểu đồ thanh so sánh tổng số thô của người dùng Đã bật và Kiểm soát đã đáp ứng điều kiện phát hành.
- Sự cố: Cho biết số lượng và tỷ lệ phần trăm sự cố cũng như số lượng người dùng riêng biệt đã gặp phải sự cố đối với nhóm Bật và nhóm Kiểm soát.
- Không nghiêm trọng: Cho biết số lượng và tỷ lệ phần trăm lỗi không nghiêm trọng, số người dùng duy nhất đã gặp phải lỗi không nghiêm trọng.
- ANR (chỉ dành cho ứng dụng Android): Cho biết số lượng và tỷ lệ phần trăm "Ứng dụng không phản hồi" sự kiện, cũng như số lượng người dùng duy nhất gặp phải một hoặc nhiều sự kiện ANR.
Để biết thêm thông tin chi tiết về sự cố, bạn có thể nhấp vào Xem thêm trong Crashlytics. Thao tác này sẽ mở trang Crashlytics có bộ lọc đang hoạt động cho bản phát hành có kết quả mà bạn đang kiểm tra. Kết quả phát hành trên Trang Crashlytics đo lường tất cả người dùng đã từng tiếp xúc với biến thể tương ứng, Bật hoặc Control. Bạn có thể chọn xem mục Kiểm soát sự cố nhóm, sự cố nhóm đã bật hoặc cả hai.
Google Analytics kết quả phát hành
Phần kết quả phát hành Google Analytics so sánh Analytics cho tất cả người dùng đã từng tiếp xúc với trạng thái Bật hoặc Kiểm soát các nhóm một cách chi tiết và trong chế độ xem biểu đồ. Có 3 chỉ số được cung cấp:
- Tổng doanh thu: Cho biết tổng doanh thu, bao gồm cả Doanh thu từ quảng cáo và Doanh thu từ giao dịch mua hàng (tính theo USD). Bạn có thể lọc để hiển thị kết quả dành riêng cho Doanh thu từ quảng cáo hoặc Doanh thu từ giao dịch mua hàng.
- Tổng số lượt chuyển đổi: Cho biết số liệu thô của tổng tất cả lượt chuyển đổi sự kiện. Bạn có thể lọc kết quả theo lượt chuyển đổi mà bạn muốn làm nổi bật.
- Tổng thời gian tương tác: Cho biết tổng thời gian tương tác mà người dùng dành cho một trong các biến thể triển khai. Tổng thời gian tương tác được hiển thị ở định dạng Giờ:Phút:Giây. Ví dụ: 01:31:28. Biểu đồ cho thấy dữ liệu trong khoảng thời gian mà bạn đã chọn ở phía trên phần Crashlytics.