Có nhiều cách sử dụng Firebase Test Lab để chạy kiểm thử ứng dụng Android của bạn, bao gồm cả giao diện dòng lệnh, Android Studio, giao diện người dùng Test Lab trong bảng điều khiển Firebase và API kiểm thử. Dù bạn chọn bắt đầu thử nghiệm như thế nào, kết quả vẫn là được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng cách sử dụng API Công cụ kết quả ngoài các công cụ nêu trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm tra này.
Các khái niệm quan trọng
Để xem kết quả của tất cả các lần chạy kiểm thử trước đó, hãy chọn Test Lab trong bảng điều hướng bên trái của dự án trong Bảng điều khiển Firebase. Trang này hiển thị tất cả các lần chạy kiểm thử từ các ứng dụng mà bạn đã kiểm thử bằng dự án của mình bằng Test Lab.
Để xem kết quả kiểm thử, trước tiên, bạn cần hiểu 3 khái niệm sau:
Khi bạn chạy kiểm thử hoặc một nhóm trường hợp kiểm thử đối với các thiết bị và cấu hình mà bạn đã chọn, Test Lab sẽ chạy kiểm thử trên ứng dụng của bạn theo lô, sau đó hiển thị kết quả dưới dạng ma trận kiểm thử.
Thiết bị × Lượt thực thi thử nghiệm = Ma trận thử nghiệm
- Thiết bị
- Một thiết bị thực hoặc ảo (chỉ dành cho Android) mà bạn chạy thử nghiệm, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị có thể đeo. Các thiết bị trong ma trận kiểm thử được xác định theo mẫu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn gọi là chế độ cài đặt ngôn ngữ và vị trí địa lý).
- Kiểm thử, chạy kiểm thử
- Một thử nghiệm (hoặc một nhóm trường hợp thử nghiệm) chạy trên một thiết bị. Bạn có thể chạy một thử nghiệm cho mỗi thiết bị hoặc tuỳ ý phân đoạn kiểm thử và chạy các trường hợp kiểm thử trên trên nhiều thiết bị.
- Ma trận kiểm thử
- Chứa các trạng thái và kết quả kiểm thử của các lượt chạy kiểm thử. Nếu có lượt thực thi kiểm thử trong một ma trận không thành công thì toàn bộ ma trận sẽ không thành công.
Các phần sau đây giải thích cách di chuyển trong kết quả kiểm thử.
Diễn giải kết quả trong nhật ký kiểm thử
Khi chuyển đến kết quả thử nghiệm bằng cách chọn biểu tượng Test Lab, bạn sẽ thấy kết quả thử nghiệm mà bạn đã thực hiện cho đến thời điểm này.
Nhật ký kiểm thử được nhóm theo ứng dụng. Chỉ 5 ma trận kiểm thử gần đây nhất là hiển thị cho từng ứng dụng; nếu có thêm lựa chọn khác, bạn có thể nhấp vào nút Tất cả ma trận ở cuối danh sách thử nghiệm ứng dụng để xem danh sách đầy đủ cho ứng dụng đó.
Diễn giải kết quả ma trận thử nghiệm
Khi bắt đầu kiểm thử thông qua giao diện người dùng Test Lab, bạn đã chuyển hướng đến trang nơi bạn có thể xem ma trận kiểm thử của mình và nhấp vào phiên chạy thử nghiệm để xem kết quả kiểm thử. Android Studio và lệnh gcloud cung cấp URL cho ma trận thử nghiệm trang kết quả.
Trong một ma trận kiểm thử thông thường, bạn có thể chạy kiểm thử trên khoảng thiết bị. Mỗi phiên chạy kiểm thử có thể có một kết quả khác nhau. Dưới đây là các kết quả có thể xảy ra cho bất kỳ lần thực thi kiểm thử nào trong ma trận kiểm thử:
- Đã đạt
: Không gặp lỗi nào. - Không thành công
: Đã có ít nhất một lỗi
gặp phải. - Không xác định được
: Kết quả thử nghiệm đã
không thể đưa ra kết luận, có thể là do lỗi Test Lab. - Bỏ qua
: Các giá trị phương diện đã chọn
cho một số lần thực thi kiểm thử trong ma trận không tương thích. Điều này xảy ra khi các thiết bị mà bạn chọn không tương thích với một hoặc nhiều cấp độ API Android mà bạn đã chọn.
Để xem kết quả kiểm thử tổng hợp cho tất cả ma trận kiểm thử của một ứng dụng cụ thể trong Dự án Firebase, hãy nhấp vào tên của ứng dụng, như trong ví dụ sau:
Ví dụ về trang kết quả của ma trận kiểm thử chỉ có 4 lượt chạy kiểm thử
Thao tác này sẽ đưa bạn đến danh sách ma trận kiểm thử cho ứng dụng. Tại đây, bạn có thể nhấp vào tên của ma trận thử nghiệm bất kỳ để xem kết quả ma trận thử nghiệm và nơi bạn có thể nhấp vào tên ứng dụng (xuất hiện trong hộp màu đỏ bên dưới) để xem danh sách ma trận kiểm thử cho các ứng dụng khác được liên kết với dự án Firebase của bạn.
Ví dụ về trang danh sách ma trận kiểm thử
Ma trận kiểm thử có thể đạt, không đạt hoặc không đưa ra kết luận. Hiện một ma trận thử nghiệm không thành công hoặc không xác định được nếu có bất kỳ lượt thực thi kiểm thử nào trong ma trận đó không thành công hoặc không thể đưa ra kết luận.
Diễn giải kết quả thử nghiệm Robo
Nếu bạn đã chạy thử nghiệm với Robo, kết quả của bạn sẽ bao gồm video và ảnh chụp màn hình của Robo thu thập dữ liệu giao diện người dùng của bạn, ngoài các chỉ số kiểm thử thông thường. Các video đó và ảnh chụp màn hình bao gồm các chỉ báo trực quan về những hành động mà Robo đã thực hiện trong quá trình thu thập thông tin, tương tự như "Hiển thị các thao tác chạm" trong Android. Bạn có thể sử dụng các chỉ báo để giúp bạn theo dõi tiến trình của Robo và tái tạo mọi lỗi khám phá.
Ví dụ về video kết quả kiểm thử Robo
Diễn giải kết quả của một lượt chạy kiểm thử
Từ trang kết quả ma trận thử nghiệm, nhấp vào một trong các lần thực thi thử nghiệm để xem kết quả của lần chạy kiểm thử cụ thể đó.
Ví dụ về trang kết quả chạy thử nghiệm
Trên trang này, bạn có thể xem thời gian cần thiết cho mỗi lần thực thi kiểm thử. Bạn có thể bạn cũng có thể xem kết quả cho các trường hợp kiểm tra cụ thể tương ứng với các phương pháp trong tệp APK kiểm thử (dành cho kiểm thử đo lường) và kết quả kiểm thử chi tiết, bao gồm cả kiểm thử nhật ký, ảnh chụp màn hình và video. Đối với thử nghiệm robot, kiểm thử chi tiết kết quả cũng bao gồm bản đồ hoạt động hiển thị bằng đồ hoạ các đường dẫn giao diện người dùng được truy cập bằng thử nghiệm Robo.
Kết quả kiểm thử đo lường được phân vùng
Để giúp bạn diễn giải kết quả kiểm thử đo lường, Test Lab sẽ tách riêng từng kiểm thử vào trang báo cáo chi tiết của riêng mình, với dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động bất kể bạn có đang sử dụng Android Orchestrator hay không.
Ví dụ về trang kết quả trường hợp kiểm thử
Diễn giải kết quả về khả năng hỗ trợ tiếp cận
Kiểm thử Robo sử dụng Trình quét hỗ trợ tiếp cận của Android để phát hiện các vấn đề về khả năng hỗ trợ tiếp cận trong ứng dụng của bạn (lưu ý rằng bạn cũng có thể chạy quy trình quét trên thiết bị của mình). Để xem hướng dẫn về cách xem xét và diễn giải kết quả về khả năng tiếp cận của thử nghiệm Robo, truy cập Bắt đầu sử dụng Trình quét hỗ trợ tiếp cận.
Để biết thông tin chung về cách cải thiện khả năng hỗ trợ tiếp cận của ứng dụng, hãy truy cập vào Tài liệu về Hỗ trợ tiếp cận dành cho nhà phát triển Android.
Chỉ số hiệu suất
Các thử nghiệm chạy trên thiết bị thực cũng trả về các chỉ số hiệu suất:
| Chỉ số | Cấu hình thiết bị bắt buộc |
|---|---|
| Thời gian khởi động ứng dụng | API 19+ |
| Mức sử dụng CPU | API 21 trở lên |
| Mức sử dụng bộ nhớ | |
| Hoạt động mạng | |
| Khung hình/giây | API cấp 21 trở lên và có SurfaceView |
Kết quả kiểm thử chi tiết
Kết quả kiểm tra chi tiết sẽ có sẵn trong 90 ngày sau khi bạn chạy thử nghiệm và được lưu trữ trong bộ chứa Google Cloud Storage (nhưng cũng hiển thị trong bảng điều khiển Firebase). Bạn có thể xem kết quả thử nghiệm chi tiết trong Cloud Storage bộ chứa khi bạn nhấp vào Kết quả kiểm thử trên trang kết quả thực thi kiểm thử. Khi kết quả kiểm thử chi tiết không còn nữa, bạn vẫn có thể xem những kiểm thử nào đã đạt hoặc không đạt.
Để lưu giữ kết quả kiểm tra chi tiết lâu hơn 90 ngày, bạn cần để gửi các kết quả kiểm tra này tới bộ chứa Cloud Storage mà bạn sở hữu bằng --results-bucket của dòng lệnh gcloud. Sau đó, bạn có thể đặt chế độ cài đặt Độ tuổi để xác định thời gian lưu trữ kết quả bộ chứa Cloud Storage của bạn. Xem Điều kiện vòng đời để biết thông tin về cách thay đổi chế độ cài đặt Độ tuổi.