iOS
Android
本頁面提供疑難排解說明,並回答使用 Firebase Test Lab 執行測試時的常見問題。已知問題也會記錄在文件中。如果找不到所需資訊或需要更多協助,請加入 Firebase Slack 的 #test-lab 頻道 ,或聯絡 Firebase 支援團隊 。
疑難排解
為什麼測試需要這麼久的時間才能完成?
在 Test Lab 目錄中選取容量等級較高的裝置,測試可能會更快開始。如果裝置容量不足,測試可能需要較長時間才能完成。如果叫用的測試數量遠大於所選裝置的容量,測試可能需要較長時間才能完成。
在任何裝置容量層級執行的測試,都可能因為下列因素而需要較長時間:
流量,這會影響裝置可用性和測試速度。
裝置或基礎架構故障 (隨時可能發生)。如要查看 Test Lab 的基礎架構是否發生回報問題,請前往 Firebase 狀態資訊主頁 。
如要進一步瞭解 Test Lab 的裝置容量,請參閱 Android 和 iOS 的裝置容量資訊。
為什麼我收到不明確的測試結果?
測試結果不確定通常是因為測試執行作業已取消,或是基礎架構發生錯誤。
基礎架構錯誤是由內部 Test Lab 問題所致,例如網路錯誤或裝置行為異常。Test Lab 內部會多次停用產生基礎架構錯誤的測試執行,然後回報結果不確定;不過,您可以使用 failFast 停用這些重試。
如要找出錯誤原因,請按照下列步驟操作:
前往 Firebase 狀態資訊主頁 ,查看是否有已知服務中斷情況。
在 Test Lab 中重試測試,確認是否可重現。
注意: Test Lab 不會針對基礎架構錯誤向您收費。
如果可以,請嘗試在其他裝置或裝置類型上執行測試。
如果問題仍未解決,請在 Firebase Slack 的 #test-lab 頻道 與 Test Lab 團隊聯絡。
為什麼分片會導致測試時間變長?
如果您指定的資料分割數量超過 Test Lab 中可用的裝置數量,資料分割可能會導致測試執行時間變長。為避免發生這種情況,請改用其他裝置。如要進一步瞭解如何選擇其他裝置,請參閱「裝置容量 」。
為什麼測試開始時間延遲?
提交測試要求時,系統會先驗證應用程式、重新簽署等,為在裝置上執行測試做準備。通常這個程序會在幾秒內完成,但可能會受到應用程式大小等因素影響。
應用程式準備就緒後,系統會排定測試執行時間,並將測試保留在佇列中,直到裝置準備好執行測試為止。在所有測試執行作業完成前,矩陣狀態會顯示「待處理」(無論測試執行作業是否在佇列中或正在執行)。
為什麼測試需要這麼久的時間?
測試執行作業完成後,系統會從裝置下載測試構件、處理構件,然後上傳至 Cloud Storage 。這個步驟所需的時間可能會受到構件數量和大小影響。
應用程式未傳回資料,且無法找到螢幕截圖
測試執行構件 (例如螢幕截圖和記錄檔) 會儲存在 Google Cloud Storage 中,並直接轉譯到 Firebase 控制台。如果測試執行時間在過去 90 天內,請確認您已指派專案層級角色 (專案擁有者、專案編輯者或專案檢視者)。此外,也請確認專案或機構未啟用 Cloud 稽核記錄。
如果執行作業已超過 90 天,系統很可能已自動刪除測試構件。如要查看結果區隔設定,請點選Test Lab 資訊主頁中的「測試結果」 分頁。預設結果 bucket 會保留物件 90 天。
如要延長測試構件的保留時間,請執行 gcloud firebase test android run
指令並搭配使用 --results-bucket
標記,然後傳遞結果 bucket 的名稱。詳情請參閱gcloud firebase test android run
參考說明文件 。
為什麼我收到部分或遺漏的檢測設備測試案例結果?
執行插樁測試時,您可能會看到測試錯誤,指出部分結果包含類似 Test run failed to complete. Expected
x tests, received y
的訊息 (其中 y
小於 x
)。這項錯誤表示 Test Lab 無法剖析通常由 AndroidJUnitRunner 產生的測試案例開始或結束標記的 logcat。
以下是導致這個問題的常見原因:
問題說明
可能的解決方法
測試案例因逾時而未執行。如果測試的總時間長度超過您指定的逾時時間,或超過最長逾時時間 ,Test Lab 會取消其餘測試案例。
增加矩陣的逾時時間,確保所有測試都能完成。
如果尚未分割測試,請分割測試,讓每個分片執行部分測試,並在較短的時間內完成。
如果已啟用資料分割功能,請增加資料分割數。
測試案例提前結束或停滯,因此無法完成。
測試案例可能會因未擷取的例外狀況或斷言錯誤而提早結束。如果應用程式未顯示正確的檢視畫面,且測試案例無法在 UI 上執行動作,測試案例可能會陷入無限迴圈或無法繼續執行。
檢查影片和 logcat
,找出測試停止的位置。
自訂測試執行器 (包括擴充 AndroidJUnitRunner) 意外當機,或將非預期的測試案例開始或結束標記寫入 logcat
。
檢查測試執行器程式碼。
系統將過多的記錄寫入 logcat
,導致緩衝區溢位或 logcat
程序當機。
將寫入次數減少至 logcat
。
受測應用程式異常終止。
偵錯應用程式。
常見問題
Test Lab 的免付費配額為何?如果用完了,該怎麼辦?
Firebase Test Lab 提供免費配額,供您在裝置上進行測試,以及使用 Cloud API。請注意,測試配額適用標準 Firebase 定價方案,但 Cloud API 配額不適用。
測試配額
測試配額取決於用於執行測試的裝置數量。
Firebase Spark 方案提供固定的免費測試配額。如果採用 Blaze 方案,隨著 Google Cloud 用量增加,配額可能會隨之提高。如果達到測試配額,請等待隔天,或升級至 Blaze 方案 (如果目前是 Spark 方案)。如果您已採用 Blaze 方案,可以申請提高配額。詳情請參閱「測試配額 」。
您可以在 Google Cloud 控制台 中監控測試配額用量。
Cloud Testing API 配額
Cloud Testing API 有兩項配額限制:每個專案每天的要求數,以及每個專案每 100 秒的要求數。您可以在 Google Cloud 控制台 中監控用量。
Cloud Tool Results API 配額
Cloud Tool Results API 有兩項配額限制:每個專案的每日查詢次數,以及每個專案每 100 秒的查詢次數。您可以在 Google Cloud 控制台 中監控用量。
如要進一步瞭解 API 限制,請參閱「Cloud API quotas for Test Lab 」。如果已達到 API 配額:
如何判斷抵達後端的流量是否來自 Test Lab ?
在後端,您可以根據IP 範圍 檢查來源 IP 位址,判斷流量是否來自 Firebase 代管的測試裝置。
Test Lab 是否支援 VPC-SC?
Test Lab 不支援 VPC-SC,因為這項功能會禁止在 Test Lab 的內部儲存空間與使用者的結果值區之間,複製應用程式和其他測試構件。
如何在 Test Lab 中偵測不穩定測試?
如要偵測測試中的不穩定行為,建議使用
--num-flaky-test-attempts
選項。Deflake 重試作業的計費方式或每日配額用量,與一般測試執行作業相同。
但請注意以下事項:
系統偵測到失敗時,會再次執行整個測試。系統不支援只重試失敗的測試案例。
系統會安排在同一時間執行防呆重試作業,但無法保證會並行執行,例如流量超過可用裝置數量時。
注意: 基礎架構錯誤與 deflake 功能無關,不會觸發 deflake 重新執行。
Test Lab 是否支援穿戴式裝置?
當然可以!Test Lab 支援 Google Pixel Watch。您現在可以在 Google Pixel Watch 上測試獨立 Wear 應用程式。如要進一步瞭解Test Lab 裝置,請參閱「在可用裝置上測試 」。
Test Lab 是否支援最新款的 Google 裝置?
當然可以!Test Lab 支援 Google Pixel Tablet 和 Google Pixel Fold。您可以在獨立實體裝置上執行測試。如要進一步瞭解Test Lab 裝置,請參閱「在可用裝置上測試 」。
如何在 Test Lab 中偵測正在執行的測試?
如果您在 Firebase 中測試應用程式,或在 Play 管理中心執行正式發布前測試報告 ,可以檢查 MainActivity
檔案中的系統屬性 firebase.test.lab
,判斷測試是否在 Firebase 託管的裝置上執行。然後,您就可以根據 testLabSetting
的布林值執行其他陳述式。詳情請參閱「修改測試行為 」。
Test Lab
是否支援測試模糊處理的應用程式 (例如使用 ProGuard 或 R8)?
Test Lab 不明確支援模糊處理或解除模糊處理。應用程式可能可以執行,但記錄中會顯示經過混淆處理的應用程式資料,例如堆疊追蹤記錄。
在 Test Lab 上測試時,我可以使用不同摺疊狀態和姿勢的摺疊式裝置嗎?
當然可以!您可以測試摺疊式裝置的摺疊狀態和姿勢 。
折疊式裝置可能處於各種不同的折疊狀態,如 FLAT
(完全展開) 或 HALF_OPENED
(介於完整展開和完全關閉之間)。
而型態則是指特定裝置方向和折疊狀態。舉例來說,桌面型態是水平方向的 HALF_OPENED
狀態,書本型態則是垂直方向的 HALF_OPENED
狀態。
如果您執行插樁測試,可以使用 Jetpack WindowManager 程式庫,並按照在摺疊式裝置上測試應用程式 文件,測試不同狀態和姿勢。
或者,可用的狀態會因裝置而異,且可使用 adb
shell command cmd device_state
進行互動。
如要列出目前狀態,請執行 adb shell cmd device_state state
。
如要設定或覆寫目前狀態,請執行 adb shell cmd device_state state <IDENTIFIER>
。
如要重設狀態,請執行 adb shell cmd device_state state reset
。
如要查看可用狀態,請在摺疊式裝置上執行 adb shell cmd device_state print-states
指令。
Google Pixel Fold (型號 ID:felix
)
$ adb shell cmd device_state print-states
Supported states: [
DeviceState{ identifier = 0 , name = 'CLOSED' , app_accessible = true} ,
DeviceState{ identifier = 1 , name = 'HALF_OPENED' , app_accessible = true} ,
DeviceState{ identifier = 2 , name = 'OPENED' , app_accessible = true} ,
DeviceState{ identifier = 3 , name = 'REAR_DISPLAY_STATE' , app_accessible = true} ,
]
Samsung Galaxy Z Fold4 (型號 ID q4q
)
$ adb shell cmd device_state print-states
Supported states: [
DeviceState{ identifier = 0 , name = 'CLOSE' , app_accessible = true} ,
DeviceState{ identifier = 1 , name = 'TENT' , app_accessible = true} ,
DeviceState{ identifier = 2 , name = 'HALF_FOLDED' , app_accessible = true} ,
DeviceState{ identifier = 3 , name = 'OPEN' , app_accessible = true} ,
]
哪些裝置最適合用於螢幕截圖差異測試?
螢幕截圖差異測試 :測試期間取得的畫面圖片會與代表預期行為的黃金圖片進行比較,藉此進行測試斷言。這類測試在某些裝置類型上可能比其他裝置類型更為脆弱。建議您針對這類測試,以 Arm (*.arm
) 模擬器裝置為目標。Arm 模擬器裝置使用的映像檔與 Android Studio「一般」模擬器非常相似或相同。
此外,我們也建議您研究測試程式庫,這類程式庫有助於在預期變更的情況下,讓螢幕截圖測試更加穩健。
Test Lab 會更新虛擬裝置嗎?
當然可以!進行下列變更時,虛擬裝置會更新:
更新現有圖片
淘汰較舊的 API 級別
新增 Android API 級別
如何啟用涵蓋範圍報表?
如要啟用涵蓋範圍報表,請將 coverage=true
新增至 environmentVariables
欄位 。如果您使用 Android Test Orchestrator,則必須提供目錄來儲存涵蓋範圍結果:
-- environment - variables coverage = true , coverageFilePath =/ sdcard / Download /
如果未使用 Orchestrator,可以指定檔案路徑:
-- environment - variables coverage = true , coverageFile =/ sdcard / Download / coverage . ec
哪裡可以找到裝置詳細資料,例如解析度、支援的 ABI 等?
您可以透過 API 取得詳細的裝置資訊,並使用 describe 指令 從 gcloud 用戶端存取:
gcloud firebase test android models describe MODEL
已知問題
登入人機驗證
如果登入畫面要求使用者輸入憑證以外的額外動作 (例如完成人機驗證),Robo 測試就無法略過。
支援 UI 架構
如果應用程式使用 Android UI 架構中的 UI 元素 (包括 View
、ViewGroup
和 WebView
物件),Robo 測試效果最佳。如果您使用 Robo 測試來執行使用其他 UI 架構的應用程式 (包括使用 Unity 遊戲引擎的應用程式),測試可能會在未探索第一個畫面以外的內容時結束。