Catch up on everything announced at Firebase Summit, and learn how Firebase can help you accelerate app development and run your app with confidence. Learn More

Phân tích kết quả phòng thí nghiệm kiểm tra Firebase

Có nhiều cách sử dụng Phòng thí nghiệm kiểm tra Firebase để chạy thử nghiệm trên ứng dụng Android của bạn, bao gồm giao diện dòng lệnh , Android Studio , giao diện người dùng Phòng thí nghiệm kiểm tra trong bảng điều khiển Firebase và API kiểm tra . Dù bạn chọn bắt đầu thử nghiệm như thế nào, thì kết quả vẫn được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng API ToolResults ngoài bất kỳ công cụ nào ở trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm tra này.

Ý chính

Để xem kết quả từ tất cả các lần chạy thử trước đó của bạn, hãy chọn Phòng thử nghiệm trong bảng điều hướng bên trái của dự án trong bảng điều khiển Firebase. Trang này hiển thị tất cả các lần chạy thử nghiệm từ các ứng dụng mà bạn đã thử nghiệm với dự án của mình bằng Test Lab.

Để xem xét kết quả kiểm tra, trước tiên bạn cần hiểu ba khái niệm:

Khi bạn chạy thử nghiệm hoặc một tập hợp các trường hợp thử nghiệm đối với các thiết bị và cấu hình mà bạn đã chọn, Test Lab sẽ chạy thử nghiệm đối với ứng dụng của bạn theo đợt, sau đó hiển thị kết quả dưới dạng ma trận thử nghiệm .

Thiết bị × Thực thi kiểm tra = Ma trận kiểm tra

Thiết bị
Một thiết bị thực hoặc ảo (chỉ dành cho Android) mà bạn chạy thử nghiệm trên đó, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị đeo được. Các thiết bị trong ma trận thử nghiệm được xác định theo kiểu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn được gọi là cài đặt địa lý và ngôn ngữ).
Kiểm tra, thực hiện kiểm tra
Một thử nghiệm (hoặc một tập hợp các trường hợp thử nghiệm) sẽ được chạy trên thiết bị. Bạn có thể chạy một thử nghiệm trên mỗi thiết bị hoặc tùy chọn phân tách thử nghiệm và chạy các trường hợp thử nghiệm trên các thiết bị khác nhau.
ma trận đề thi
Chứa các trạng thái và kết quả kiểm tra cho các lần thực hiện kiểm tra của bạn. Nếu bất kỳ việc thực hiện kiểm tra nào trong một ma trận không thành công, thì toàn bộ ma trận sẽ thất bại.

Các phần sau đây giải thích cách điều hướng kết quả kiểm tra.

Giải thích kết quả lịch sử kiểm tra

Khi bạn điều hướng đến kết quả kiểm tra của mình bằng cách chọn Phòng thí nghiệm kiểm tra , bạn sẽ thấy kết quả của các kiểm tra bạn đã chạy cho đến nay.

Lịch sử thử nghiệm được nhóm theo ứng dụng. Chỉ năm ma trận thử nghiệm gần đây nhất được hiển thị cho mỗi ứng dụng; nếu có nhiều hơn, bạn có thể nhấp vào liên kết Tất cả ma trận ở cuối danh sách thử nghiệm ứng dụng để xem danh sách đầy đủ cho ứng dụng đó.

Giải thích kết quả ma trận kiểm tra

Khi bắt đầu thử nghiệm thông qua Giao diện người dùng của Test Lab , bạn sẽ được chuyển hướng đến một trang nơi bạn có thể xem ma trận thử nghiệm của mình và nhấp vào một lần thực hiện thử nghiệm cụ thể để xem kết quả thử nghiệm. Android Studiolệnh gcloud cũng cung cấp một URL cho trang kết quả ma trận kiểm tra.

Trong một ma trận thử nghiệm điển hình, bạn có thể chạy thử nghiệm trên hàng tá thiết bị khác nhau. Mỗi lần thực hiện kiểm tra có thể có một kết quả khác nhau. Các kết quả có thể xảy ra đối với bất kỳ lần thực hiện thử nghiệm nào trong ma trận thử nghiệm bao gồm:

  • Thông quaBài kiểm tra đã qua : Không gặp sự cố nào.
  • Thất bạiThử nghiệm thất bại : Đã gặp phải ít nhất một lỗi.
  • bất phân thắng bạiBài kiểm tra đã qua : Kết quả test chưa thuyết phục, có thể do lỗi của Test Lab.
  • Đã bỏ quaBài kiểm tra đã qua : Các giá trị thứ nguyên đã chọn cho một số lần thực thi thử nghiệm trong ma trận không tương thích. Điều này xảy ra khi các thiết bị bạn đã chọn không tương thích với một hoặc nhiều cấp API Android mà bạn đã chọn.

Để xem xét kết quả thử nghiệm tổng hợp cho tất cả các ma trận thử nghiệm cho một ứng dụng nhất định trong dự án Firebase của bạn, hãy nhấp vào tên của ứng dụng, như minh họa trong ví dụ sau:

Trang kết quả ma trận thử nghiệm ví dụ chỉ có bốn lần thực hiện thử nghiệm Kết quả ma trận kiểm tra

Điều này sẽ đưa bạn đến danh sách ma trận thử nghiệm cho ứng dụng của bạn, nơi bạn có thể nhấp vào tên của bất kỳ ma trận thử nghiệm nào để xem kết quả của ma trận thử nghiệm và nơi bạn có thể nhấp vào tên của ứng dụng (hiển thị trong hộp màu đỏ bên dưới) để xem danh sách ma trận thử nghiệm cho các ứng dụng khác được liên kết với dự án Firebase của bạn.

Ví dụ trang danh sách ma trận kiểm tra Danh sách ma trận kiểm tra

Một ma trận kiểm tra có thể vượt qua, thất bại hoặc không thuyết phục. Ma trận thử nghiệm được hiển thị là không thành công hoặc không có kết quả nếu bất kỳ lần thực hiện thử nghiệm nào trong ma trận đó không thành công hoặc không có kết quả.

Giải thích kết quả kiểm tra Robo

Nếu bạn chạy thử nghiệm với Robo, kết quả của bạn sẽ bao gồm các video và ảnh chụp màn hình Robo thu thập dữ liệu giao diện người dùng của bạn, ngoài các chỉ số thử nghiệm thông thường. Các video và ảnh chụp màn hình đó bao gồm các chỉ dẫn trực quan về các hành động mà Robo đã thực hiện trong quá trình thu thập thông tin, tương tự như tính năng 'Hiển thị các thao tác chạm' trong Android. Bạn có thể sử dụng các chỉ dẫn để giúp bạn theo dõi tiến trình của Robo và tái tạo bất kỳ lỗi nào mà Robo có thể phát hiện ra.

Video ví dụ về kết quả kiểm tra Robo

Kết quả kiểm tra Robo

Giải thích kết quả từ một lần thực hiện thử nghiệm

Từ trang kết quả ma trận kiểm tra, nhấp vào một trong các lần thực hiện kiểm tra để xem kết quả của lần thực hiện kiểm tra cụ thể đó.

Trang kết quả thực hiện thử nghiệm ví dụ Kết quả thực hiện kiểm thử

Trên trang này, bạn có thể thấy thời gian cần thiết cho mỗi lần thực hiện kiểm tra. Bạn cũng có thể xem kết quả cho các trường hợp thử nghiệm cụ thể tương ứng với các phương pháp trong APK thử nghiệm của bạn (dành cho thử nghiệm thiết bị) và kết quả thử nghiệm chi tiết, bao gồm nhật ký thử nghiệm, ảnh chụp màn hình và video. Đối với thử nghiệm Robo , kết quả thử nghiệm chi tiết cũng bao gồm một bản đồ hoạt động hiển thị bằng đồ họa các đường dẫn giao diện người dùng mà thử nghiệm Robo đã truy cập.

Kết quả kiểm tra thiết bị phân vùng

Để giúp bạn diễn giải kết quả thử nghiệm được đo bằng công cụ, Test Lab tách từng thử nghiệm thành trang báo cáo chi tiết của riêng nó, hoàn chỉnh với dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động cho dù bạn có đang sử dụng Android Orchestrator hay không.

Trang kết quả testcase ví dụ Kết quả thử nghiệm

Diễn giải kết quả khả năng tiếp cận

Thử nghiệm rô-bốt sử dụng Trình quét trợ năng của Android để phát hiện các vấn đề về trợ năng trong ứng dụng của bạn (lưu ý rằng bạn cũng có thể quét cục bộ trên thiết bị của mình). Để biết hướng dẫn về cách xem xét và giải thích kết quả khả năng truy cập của thử nghiệm Robo, hãy truy cập Bắt đầu với Trình quét khả năng truy cập .

Để biết thông tin chung về cách cải thiện khả năng truy cập ứng dụng của bạn, hãy truy cập tài liệu về Khả năng truy cập dành cho nhà phát triển Android .

Số liệu hiệu suất

Các thử nghiệm chạy trên thiết bị vật lý cũng trả về số liệu hiệu suất:

Hệ mét Cấu hình thiết bị cần thiết
Thời gian khởi động ứng dụng API 19+
sử dụng CPU API 21+
Sử dụng bộ nhớ
Hoạt động mạng
Khung hình mỗi giây API 21+ và bao gồm SurfaceView
Hiệu suất đồ họa API 23+

Chi tiết hiệu suất đồ họa

Báo cáo hiệu suất đồ họa chứa số liệu thống kê về một số chỉ số đồ họa chính:

  • Missed Vsync: Số sự kiện Vsync bị bỏ lỡ, chia cho số khung hình mất hơn 16 mili giây để kết xuất.
  • Độ trễ đầu vào cao: Số sự kiện đầu vào mất hơn 24 mili giây chia cho số khung hình mất hơn 16 mili giây để hiển thị.
  • Chuỗi giao diện người dùng chậm: Số lần chuỗi giao diện người dùng mất hơn 8 mili giây để hoàn thành, chia cho số khung hình mất hơn 16 mili giây để hiển thị.
  • Lệnh vẽ chậm: Số lần gửi lệnh vẽ tới GPU mất hơn 12 mili giây chia cho số khung hình mất hơn 16 mili giây để kết xuất.
  • Tải lên bitmap chậm: Số lần bitmap mất hơn 3,2 mili giây để tải lên GPU chia cho số khung hình mất hơn 16 mili giây để kết xuất.
  • Thời gian kết xuất: Phân phối thời gian kết xuất cho từng khung hình của quá trình chạy thử. Thời gian kết xuất lớn hơn 32 mili giây gây ra sự chậm lại rõ rệt cho giao diện người dùng của bạn. Thời gian kết xuất trên 700 biểu thị các khung hình bị đóng băng. Dữ liệu kết xuất được thu thập từ dumpsys graphicsstats .

Kết quả kiểm tra chi tiết

Kết quả kiểm tra chi tiết có sẵn trong 90 ngày sau khi bạn chạy thử nghiệm và được lưu trữ trong bộ chứa Google Cloud Storage (nhưng cũng hiển thị trong bảng điều khiển Firebase). Bạn có thể xem kết quả kiểm tra chi tiết trong bộ chứa Lưu trữ đám mây khi nhấp vào Kết quả kiểm tra trên trang kết quả thực hiện kiểm tra. Khi kết quả kiểm tra chi tiết không còn nữa, bạn vẫn có thể xem bài kiểm tra nào đạt hoặc không đạt.

Để giữ lại kết quả kiểm tra chi tiết trong hơn 90 ngày, bạn cần gửi các kết quả kiểm tra này đến bộ chứa Lưu trữ đám mây mà bạn sở hữu bằng cách sử dụng tùy chọn dòng lệnh --results-bucket gcloud . Sau đó, bạn có thể đặt cài đặt Độ tuổi để xác định khoảng thời gian kết quả được lưu trữ trong bộ chứa Lưu trữ đám mây của bạn. Xem Điều kiện vòng đời để biết thông tin về cách thay đổi cài đặt Độ tuổi .