分析測試結果

無論您是透過 Firebase 控制台Firebase CLI 執行測試,都可以在 Firebase 控制台中查看詳細的測試結果。請繼續閱讀,瞭解如何分析測試結果。

查看測試結果

上傳或選取測試並指定測試裝置後,您可以在 Firebase 控制台的 Test Lab 資訊主頁中,查看測試結果摘要 (包括記錄、影片和螢幕截圖)。原始測試結果也會儲存在 Google Cloud 值區中,方便與 CI 系統搭配使用。

如要查看測試結果,請前往 Firebase 控制台Test Lab 專區。

畫面上會列出您先前執行的所有測試。如要瞭解結果,建議您先瞭解一下測試矩陣:當您針對所選裝置和設定執行測試或一組測試案例時,Test Lab 會針對應用程式執行批次測試,然後以測試矩陣的形式顯示結果。

裝置 × 測試執行次數 = 測試矩陣

裝置
您用來執行測試的實體或虛擬裝置 (僅限 Android),例如手機、平板電腦或穿戴式裝置。測試矩陣中的裝置會根據裝置型號、作業系統版本、螢幕方向和語言代碼 (也稱為地理位置和語言設定) 進行識別。
測試、測試執行
要在裝置上執行的測試 (或一組測試案例)。您可以為每部裝置執行一項測試,也可以選擇將測試分割,並在不同裝置上執行其測試案例。
測試矩陣
包含測試執行作業的狀態和測試結果。如果矩陣中的任何測試執行作業失敗,整個矩陣都會失敗。

解讀測試矩陣結果

如果您在 Firebase 控制台中啟動測試,Test Lab 會直接帶您前往進行中的測試矩陣,讓您隨時掌握測試進度。如果您改用指令列工具,可以按照提供的網址前往進行中的測試矩陣頁面。

矩陣中每個測試執行 Test Lab 執行作業都有一行。執行作業名稱前方的圖示會顯示該執行作業的狀態:

  • play_circle_outline 進行中:測試執行作業仍在進行中。視應用程式中的測試數量和複雜度而定,執行作業最多可能需要一小時才能完成。
  • check_circle 通過:執行作業的所有測試均未失敗。
  • 警告 失敗:執行作業至少有一個測試失敗。
  • error 未明確:測試結果不明確,可能是因為發生 Test Lab 錯誤。
  • block 略過: Test Lab 略過測試,因為所選的裝置/OS 版本組合無法使用。

解讀單一測試執行結果

在測試矩陣結果頁面中,按一下其中一個測試執行作業,即可查看該特定測試執行作業的結果。

這個頁面會顯示該測試執行作業的統計資料,包括測試期間遇到的問題、測試案例清單、執行作業的記錄,以及測試執行影片。

詳細測試結果

詳細的測試結果會在 Google Cloud Storage 儲存格中保留 90 天。在測試執行結果頁面中,按一下「查看來源檔案」即可查看分桶。

如要將詳細測試結果保留超過 90 天,請使用 --results-bucket gcloud 指令列選項,將測試結果傳送至您擁有的較為永久的 Cloud Storage 儲存桶。接著,您可以設定Age 設定,決定 Cloud Storage 儲存結果的時間長度。如要進一步瞭解如何變更「Age」設定,請參閱「生命週期條件」一文。