Có nhiều cách sử dụng Phòng thử nghiệm Firebase để chạy kiểm thử trên ứng dụng Android, trong đó có giao diện dòng lệnh, Android Studio, giao diện người dùng của Phòng thử nghiệm trong bảng điều khiển của Firebase và API kiểm thử. Dù bạn chọn bắt đầu kiểm thử hay không, kết quả sẽ được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng cách sử dụng Toolresult API (API Công cụ kết quả) cùng với bất kỳ công cụ nào ở trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm thử này.
Các khái niệm quan trọng
Để xem kết quả của tất cả các lần chạy kiểm thử trước đó, hãy chọn Phòng thử nghiệm trong bảng điều hướng bên trái của dự án trong bảng điều khiển của Firebase. Trang này hiển thị tất cả các lần chạy kiểm thử từ các ứng dụng mà bạn đã kiểm thử với dự án của mình qua Phòng thử nghiệm.
Để xem kết quả kiểm thử, trước tiên, bạn cần hiểu 3 khái niệm sau:
Khi bạn chạy một kiểm thử hoặc một nhóm trường hợp kiểm thử trên các thiết bị và cấu hình đã chọn, Phòng thử nghiệm sẽ chạy kiểm thử trên ứng dụng của bạn theo lô, sau đó hiển thị kết quả dưới dạng ma trận kiểm thử.
Thiết bị × Lượt thực thi thử nghiệm = Ma trận thử nghiệm
- Thiết bị
- Một thiết bị thực hoặc ảo (chỉ dành cho Android) mà bạn chạy kiểm thử, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị đeo. Các thiết bị trong ma trận kiểm thử được xác định theo mẫu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn gọi là chế độ cài đặt địa lý và ngôn ngữ).
- Kiểm thử, chạy kiểm thử
- Một thử nghiệm (hoặc một nhóm trường hợp thử nghiệm) chạy trên một thiết bị. Bạn có thể chạy một kiểm thử cho mỗi thiết bị hoặc tuỳ ý phân đoạn kiểm thử và chạy các trường hợp kiểm thử trên nhiều thiết bị.
- Ma trận kiểm thử
- Chứa các trạng thái và kết quả kiểm thử của các lượt chạy kiểm thử. Nếu bất kỳ lượt thực thi kiểm thử nào trong một ma trận không thành công thì toàn bộ ma trận sẽ không thành công.
Các phần sau đây giải thích cách di chuyển trong kết quả kiểm thử.
Diễn giải kết quả nhật ký kiểm tra
Khi chuyển đến kết quả kiểm thử bằng cách chọn Test Lab (Phòng thử nghiệm), bạn sẽ thấy kết quả kiểm thử đã chạy cho đến thời điểm hiện tại.
Nhật ký kiểm thử được nhóm theo ứng dụng. Chỉ 5 ma trận kiểm thử gần đây nhất được hiển thị cho từng ứng dụng. Nếu có thêm, bạn có thể nhấp vào đường liên kết Tất cả ma trận ở cuối danh sách kiểm thử ứng dụng để xem danh sách đầy đủ về ứng dụng đó.
Diễn giải kết quả ma trận thử nghiệm
Khi bắt đầu kiểm thử thông qua giao diện người dùng của Phòng thử nghiệm, bạn sẽ được chuyển hướng đến một trang có thể xem ma trận kiểm thử và nhấp vào một phiên chạy kiểm thử cụ thể để xem kết quả kiểm thử. Android Studio và lệnh gcloud cũng cung cấp một URL cho trang kết quả ma trận kiểm thử.
Trong một ma trận kiểm thử thông thường, bạn có thể chạy kiểm thử trên nhiều thiết bị hoặc hơn thế. Mỗi phiên chạy kiểm thử có thể có một kết quả khác nhau. Sau đây là kết quả có thể xảy ra cho mọi lượt chạy kiểm thử trong ma trận kiểm thử:
- Đã đạt
: Không gặp lỗi nào. - Không thành công
: Đã gặp phải ít nhất một lỗi. 
không xác định được: Kết quả thử nghiệm chưa thể đưa ra kết luận, có thể là do một lỗi trong Phòng thử nghiệm.- Đã bỏ qua
: Các giá trị phương diện được chọn cho một số phiên chạy thử nghiệm trong ma trận không tương thích. Trường hợp này xảy ra khi các thiết bị bạn chọn không tương thích với một hoặc nhiều cấp độ API Android mà bạn đã chọn.
Để xem lại kết quả kiểm thử tổng hợp cho tất cả ma trận kiểm thử cho một ứng dụng nhất định trong dự án Firebase, hãy nhấp vào tên của ứng dụng đó như trong ví dụ sau:
Ví dụ về trang kết quả của ma trận kiểm thử chỉ có 4 lượt chạy kiểm thử
Thao tác này sẽ đưa bạn đến danh sách ma trận kiểm thử cho ứng dụng. Tại đây, bạn có thể nhấp vào tên của bất kỳ ma trận kiểm thử nào để xem kết quả ma trận kiểm thử cũng như nhấp vào tên ứng dụng (xuất hiện trong hộp màu đỏ bên dưới) để xem danh sách ma trận kiểm thử cho các ứng dụng khác liên kết với dự án Firebase của bạn.
Ví dụ về trang danh sách ma trận kiểm thử
Ma trận kiểm thử có thể đạt, không đạt hoặc không đưa ra kết luận. Ma trận kiểm thử sẽ hiển thị là không thành công hoặc không đưa ra kết luận nếu có bất kỳ lượt thực thi kiểm thử nào trong ma trận đó không thành công hoặc không xác định được.
Diễn giải kết quả thử nghiệm Robo
Nếu bạn đã chạy thử nghiệm bằng Robo, kết quả sẽ bao gồm video và ảnh chụp màn hình về quá trình Robo thu thập thông tin trên giao diện người dùng, ngoài các chỉ số kiểm thử thông thường. Các video và ảnh chụp màn hình đó bao gồm chỉ báo trực quan về những hành động mà Robo đã thực hiện trong quá trình thu thập dữ liệu, tương tự như tính năng "Hiển thị các thao tác chạm" trong Android. Bạn có thể sử dụng các chỉ báo để giúp bạn theo dõi tiến trình của Robo và tái tạo mọi lỗi mà nó có thể chưa khám phá được.
Video ví dụ về kết quả thử nghiệm Robo
Diễn giải kết quả của một lượt chạy kiểm thử
Trên trang kết quả ma trận kiểm thử, hãy nhấp vào một trong các lượt chạy kiểm thử để xem kết quả của lượt chạy kiểm thử cụ thể đó.
Ví dụ về trang kết quả chạy thử nghiệm
Trên trang này, bạn có thể xem thời gian cần thiết cho mỗi lần chạy thử nghiệm. Bạn cũng có thể xem kết quả cho các trường hợp kiểm thử cụ thể tương ứng với các phương thức trong APK kiểm thử (dành cho kiểm thử đo lường) và kết quả kiểm thử chi tiết, bao gồm nhật ký kiểm thử, ảnh chụp màn hình và video. Đối với thử nghiệm Robo, kết quả kiểm thử chi tiết cũng bao gồm một bản đồ hoạt động cho thấy dạng đồ hoạ các đường dẫn giao diện người dùng mà chương trình kiểm thử Robo truy cập.
Kết quả kiểm thử đo lường được phân vùng
Để giúp bạn diễn giải kết quả kiểm thử đo lường, Phòng thử nghiệm tách từng bài kiểm thử thành một trang báo cáo chi tiết riêng, kèm theo dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động cho dù bạn có đang sử dụng Android Orchestrator hay không.
Ví dụ về trang kết quả trường hợp kiểm thử
Diễn giải kết quả hỗ trợ tiếp cận
Kiểm thử Robo sử dụng Trình quét hỗ trợ tiếp cận của Android để phát hiện các vấn đề về hỗ trợ tiếp cận trong ứng dụng của bạn (lưu ý rằng bạn cũng có thể quét cục bộ trên thiết bị của mình). Để biết hướng dẫn về cách xem và diễn giải kết quả hỗ trợ tiếp cận của bài kiểm thử Robo, hãy xem bài viết Bắt đầu sử dụng Trình quét hỗ trợ tiếp cận.
Để biết thông tin chung về cách cải thiện khả năng hỗ trợ tiếp cận của ứng dụng, hãy truy cập tài liệu về Hỗ trợ tiếp cận dành cho nhà phát triển Android.
Chỉ số hiệu suất
Các thử nghiệm chạy trên thiết bị thực cũng trả về các chỉ số hiệu suất:
| Chỉ số | Cấu hình thiết bị bắt buộc |
|---|---|
| Thời gian khởi động ứng dụng | API 19 trở lên |
| Mức sử dụng CPU | API 21 trở lên |
| Mức sử dụng bộ nhớ | |
| Hoạt động mạng | |
| Khung hình/giây | API cấp 21 trở lên và có SurfaceView |
| Hiệu suất đồ hoạ | API 23 trở lên |
Thông tin chi tiết về hiệu suất đồ hoạ
Báo cáo hiệu suất đồ hoạ chứa số liệu thống kê về một vài chỉ số đồ hoạ chính:
- Vsync bị bỏ lỡ: Số sự kiện Vsync bị bỏ lỡ chia cho số khung hình mất hơn 16 mili giây để hiển thị.
- Độ trễ đầu vào cao: Số sự kiện đầu vào mất hơn 24 mili giây chia cho số khung hình mất nhiều hơn 16 mili giây để hiển thị.
- Luồng giao diện người dùng chậm: Số lần luồng giao diện người dùng mất hơn 8 mili giây để hoàn tất chia cho số khung hình mất hơn 16 mili giây để hiển thị.
- Lệnh vẽ chậm: Số lần gửi lệnh vẽ tới GPU mất nhiều hơn 12 mili giây, chia cho số khung hình mất hơn 16 mili giây để kết xuất.
- Tải lên bitmap chậm: Số lần bitmap mất nhiều hơn 3,2 mili giây để tải lên GPU chia cho số khung hình mất hơn 16 mili giây để hiển thị.
- Thời gian kết xuất: Phân phối thời gian kết xuất cho từng khung hình của lần chạy kiểm thử. Thời gian kết xuất lớn hơn 32 mili giây có thể khiến giao diện người dùng bị chậm lại. Thời gian kết xuất từ 700 trở lên cho biết là có khung hình bị treo. Dữ liệu kết xuất được thu thập từ
dumpsys graphicsstats.
Kết quả kiểm thử chi tiết
Kết quả kiểm thử chi tiết sẽ có sẵn trong 90 ngày sau khi bạn chạy kiểm thử và được lưu trữ trong bộ chứa Google Cloud Storage (nhưng cũng hiển thị trong bảng điều khiển của Firebase). Bạn có thể xem kết quả kiểm thử chi tiết trong bộ chứa Cloud Storage khi nhấp vào Kết quả kiểm thử trên trang kết quả thực thi kiểm thử. Khi không còn có kết quả kiểm thử chi tiết, bạn vẫn có thể xem kiểm thử nào đạt hoặc không đạt.
Để lưu giữ kết quả kiểm thử chi tiết trong hơn 90 ngày, bạn cần gửi các kết quả kiểm thử này đến một bộ chứa Cloud Storage mà bạn sở hữu bằng tuỳ chọn dòng lệnh gcloud --results-bucket. Sau đó, bạn có thể đặt chế độ cài đặt Age (Độ tuổi) để xác định thời gian lưu trữ kết quả trong bộ chứa Cloud Storage của bạn. Hãy xem phần Điều kiện vòng đời để biết thông tin về cách thay đổi chế độ cài đặt Độ tuổi.