Phân tích kết quả phòng thí nghiệm kiểm tra Firebase

Có nhiều cách để sử dụng Phòng thí nghiệm kiểm tra Firebase để chạy thử nghiệm trên ứng dụng Android của bạn, bao gồm giao diện dòng lệnh , Android Studio , giao diện người dùng Phòng thử nghiệm trong bảng điều khiển Firebase và API kiểm tra . Dù bạn chọn bắt đầu thử nghiệm như thế nào thì kết quả vẫn được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng API ToolResults ngoài bất kỳ công cụ nào ở trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm tra này.

Ý chính

Để xem kết quả từ tất cả các lần chạy thử nghiệm trước đó của bạn, hãy chọn Phòng thử nghiệm ở bảng điều hướng bên trái của dự án trong bảng điều khiển Firebase. Trang này hiển thị tất cả các lần chạy thử nghiệm từ các ứng dụng mà bạn đã thử nghiệm với dự án của mình bằng Test Lab.

Để xem lại kết quả kiểm tra, trước tiên bạn cần hiểu 3 khái niệm:

Khi bạn chạy thử nghiệm hoặc một tập hợp các trường hợp thử nghiệm đối với các thiết bị và cấu hình bạn đã chọn, Test Lab sẽ chạy thử nghiệm đối với ứng dụng của bạn theo đợt, sau đó hiển thị kết quả dưới dạng ma trận thử nghiệm .

Thiết bị × Thực hiện kiểm tra = Ma trận kiểm tra

Thiết bị
Thiết bị vật lý hoặc ảo (chỉ dành cho Android) để bạn chạy thử nghiệm, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị đeo. Các thiết bị trong ma trận thử nghiệm được xác định theo kiểu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn được gọi là cài đặt địa lý và ngôn ngữ).
Kiểm tra, thực hiện kiểm tra
Một thử nghiệm (hoặc một tập hợp các trường hợp thử nghiệm) sẽ được chạy trên thiết bị. Bạn có thể chạy một thử nghiệm trên mỗi thiết bị hoặc tùy ý phân chia thử nghiệm và chạy các trường hợp thử nghiệm trên các thiết bị khác nhau.
Ma trận thử nghiệm
Chứa các trạng thái và kết quả kiểm tra cho quá trình thực hiện kiểm tra của bạn. Nếu bất kỳ việc thực hiện kiểm thử nào trong một ma trận đều thất bại thì toàn bộ ma trận sẽ thất bại.

Các phần sau đây giải thích cách điều hướng kết quả kiểm tra.

Giải thích kết quả lịch sử kiểm tra

Khi bạn điều hướng đến kết quả kiểm tra của mình bằng cách chọn Test Lab , bạn sẽ thấy kết quả của các bài kiểm tra bạn đã chạy cho đến nay.

Lịch sử thử nghiệm được nhóm theo ứng dụng. Chỉ năm ma trận thử nghiệm gần đây nhất được hiển thị cho mỗi ứng dụng; nếu có thêm, bạn có thể nhấp vào liên kết Tất cả ma trận ở cuối danh sách kiểm tra ứng dụng để xem danh sách đầy đủ cho ứng dụng đó.

Giải thích kết quả ma trận thử nghiệm

Khi bắt đầu kiểm tra thông qua Giao diện người dùng của Test Lab , bạn sẽ được chuyển hướng đến một trang nơi bạn có thể xem ma trận kiểm tra của mình và nhấp vào thực hiện kiểm tra cụ thể để xem kết quả kiểm tra. Android Studiolệnh gcloud cũng cung cấp URL cho trang kết quả ma trận thử nghiệm.

Trong một ma trận thử nghiệm thông thường, bạn có thể chạy thử nghiệm trên hàng chục thiết bị khác nhau. Mỗi lần thực hiện thử nghiệm có thể có một kết quả khác nhau. Các kết quả có thể xảy ra đối với bất kỳ việc thực hiện kiểm thử nào trong ma trận kiểm thử bao gồm:

  • Đi quaĐã vượt qua bài kiểm tra : Không gặp sự cố nào.
  • Thất bạiThử nghiệm thất bại : Đã gặp ít nhất một lỗi.
  • Không thể kết luận Đã vượt qua bài kiểm tra : Kết quả thử nghiệm không thuyết phục, có thể do lỗi của Test Lab.
  • Đã bỏ quaĐã vượt qua bài kiểm tra : Các giá trị thứ nguyên đã chọn cho một số lần thực thi thử nghiệm trong ma trận không tương thích. Điều này xảy ra khi các thiết bị bạn đã chọn không tương thích với một hoặc nhiều cấp độ API Android mà bạn đã chọn.

Để xem lại kết quả thử nghiệm tổng hợp cho tất cả ma trận thử nghiệm cho một ứng dụng nhất định trong dự án Firebase của bạn, hãy nhấp vào tên ứng dụng, như trong ví dụ sau:

Trang kết quả ma trận thử nghiệm mẫu chỉ có bốn lần thực hiện thử nghiệm Kết quả ma trận thử nghiệm

Thao tác này sẽ đưa bạn đến danh sách ma trận thử nghiệm cho ứng dụng của mình, nơi bạn có thể nhấp vào tên của bất kỳ ma trận thử nghiệm nào để xem kết quả ma trận thử nghiệm và nơi bạn có thể nhấp vào tên ứng dụng (hiển thị trong hộp màu đỏ bên dưới) để xem danh sách ma trận thử nghiệm cho các ứng dụng khác được liên kết với dự án Firebase của bạn.

Trang danh sách ma trận thử nghiệm mẫu Danh sách ma trận thử nghiệm

Ma trận thử nghiệm có thể đạt, không đạt hoặc không thuyết phục. Ma trận thử nghiệm được hiển thị là không thành công hoặc không có kết luận nếu bất kỳ quá trình thực thi thử nghiệm nào trong ma trận đó không thành công hoặc không có kết quả.

Giải thích kết quả kiểm tra Robo

Nếu bạn chạy thử nghiệm với Robo, kết quả của bạn sẽ bao gồm video và ảnh chụp màn hình Robo thu thập dữ liệu giao diện người dùng của bạn, ngoài các số liệu thử nghiệm thông thường. Những video và ảnh chụp màn hình đó bao gồm các chỉ dẫn trực quan về các hành động mà Robo đã thực hiện trong quá trình thu thập thông tin, tương tự như tính năng 'Hiển thị các lần chạm' trong Android. Bạn có thể sử dụng các chỉ dẫn để giúp bạn theo dõi tiến trình của Robo và tái tạo bất kỳ lỗi nào mà nó có thể phát hiện ra.

Video kết quả thử nghiệm Robo mẫu

Kết quả kiểm tra robot

Giải thích kết quả từ một lần thực hiện thử nghiệm duy nhất

Từ trang kết quả ma trận thử nghiệm, hãy nhấp vào một trong các lần thực hiện thử nghiệm để xem kết quả của lần thực hiện thử nghiệm cụ thể đó.

Trang kết quả thực hiện kiểm thử mẫu Kết quả thực hiện thử nghiệm

Trên trang này, bạn có thể thấy thời gian cần thiết cho mỗi lần thực hiện kiểm thử. Bạn cũng có thể xem kết quả cho các trường hợp thử nghiệm cụ thể tương ứng với các phương pháp trong APK thử nghiệm của bạn (dành cho thử nghiệm thiết bị đo đạc) và kết quả thử nghiệm chi tiết, bao gồm nhật ký thử nghiệm, ảnh chụp màn hình và video. Đối với thử nghiệm Robo , kết quả kiểm tra chi tiết cũng bao gồm bản đồ hoạt động hiển thị bằng đồ họa các đường dẫn giao diện người dùng đã được thử nghiệm Robo truy cập.

Kết quả kiểm tra thiết bị phân vùng

Để giúp bạn diễn giải các kết quả kiểm tra được đo lường, Test Lab tách từng bài kiểm tra thành trang báo cáo chi tiết riêng, hoàn chỉnh với dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động cho dù bạn có sử dụng Android Orchestrator hay không.

Trang kết quả testcase mẫu Kết quả thử nghiệm

Giải thích kết quả về khả năng tiếp cận

Kiểm thử robot sử dụng Trình quét trợ năng của Android để phát hiện các vấn đề về trợ năng trong ứng dụng của bạn (lưu ý rằng bạn cũng có thể quét cục bộ trên thiết bị của mình). Để biết hướng dẫn về cách xem lại và diễn giải kết quả khả năng tiếp cận của bài kiểm tra Robo của bạn, hãy truy cập Bắt đầu với Trình quét trợ năng .

Để biết thông tin chung về cách cải thiện khả năng truy cập của ứng dụng, hãy truy cập tài liệu về Trợ năng dành cho nhà phát triển Android .

Số liệu hiệu suất

Các thử nghiệm chạy trên thiết bị vật lý cũng trả về số liệu hiệu suất:

Hệ mét Cấu hình thiết bị cần thiết
Thời gian khởi động ứng dụng API 19+
mức sử dụng CPU API 21+
Sử dụng bộ nhớ
Hoạt động mạng
Khung hình mỗi giây API 21+ và bao gồm SurfaceView
Hiệu suất đồ họa API 23+

Chi tiết hiệu suất đồ họa

Báo cáo hiệu suất đồ họa chứa số liệu thống kê về một số số liệu đồ họa chính:

  • Vsync bị bỏ lỡ: Số sự kiện Vsync bị bỏ lỡ chia cho số khung hình mất hơn 16 mili giây để hiển thị.
  • Độ trễ đầu vào cao: Số sự kiện đầu vào mất nhiều hơn 24 mili giây chia cho số khung hình mất nhiều thời gian hơn 16 mili giây để kết xuất.
  • Chuỗi giao diện người dùng chậm: Số lần chuỗi giao diện người dùng mất hơn 8 mili giây để hoàn thành, chia cho số khung hình mất nhiều hơn 16 mili giây để hiển thị.
  • Lệnh vẽ chậm: Số lần gửi lệnh vẽ tới GPU mất hơn 12 mili giây chia cho số khung hình mất hơn 16 mili giây để kết xuất.
  • Tải lên bitmap chậm: Số lần bitmap mất hơn 3,2 mili giây để tải lên GPU chia cho số khung hình mất nhiều hơn 16 mili giây để kết xuất.
  • Thời gian kết xuất: Phân bổ thời gian kết xuất cho từng khung hình của quá trình chạy thử. Thời gian kết xuất lớn hơn 32 mili giây có thể khiến giao diện người dùng của bạn bị chậm lại. Thời gian kết xuất trên 700 biểu thị các khung hình bị đóng băng. Dữ liệu kết xuất được thu thập từ dumpsys graphicsstats .

Kết quả kiểm tra chi tiết

Kết quả kiểm tra chi tiết sẽ có trong 90 ngày sau khi bạn chạy thử nghiệm và được lưu trữ trong nhóm Google Cloud Storage (nhưng cũng hiển thị trong bảng điều khiển Firebase). Bạn có thể xem kết quả kiểm tra chi tiết trong nhóm Cloud Storage khi nhấp vào Kết quả kiểm tra trên trang kết quả thực hiện kiểm tra. Khi kết quả kiểm tra chi tiết không còn nữa, bạn vẫn có thể xem bài kiểm tra nào đã đạt hoặc không đạt.

Để lưu giữ kết quả kiểm tra chi tiết lâu hơn 90 ngày, bạn cần gửi các kết quả kiểm tra này tới bộ chứa Cloud Storage mà bạn sở hữu bằng cách sử dụng tùy chọn dòng lệnh --results-bucket gcloud . Sau đó, bạn có thể đặt cài đặt Độ tuổi để xác định thời gian lưu trữ kết quả trong nhóm Lưu trữ đám mây của mình. Xem Điều kiện vòng đời để biết thông tin về cách thay đổi cài đặt Độ tuổi .