Jika menjalankan pengujian melalui Firebase console atau Firebase CLI, Anda dapat menemukan hasil pengujian mendetail di Firebase console. Baca informasi selengkapnya di bawah untuk mempelajari cara menganalisis hasil pengujian Anda.
Melihat hasil uji
Setelah mengupload atau memilih pengujian dan menentukan perangkat uji, Anda dapat melihat ringkasan hasil uji (termasuk log, video, dan screenshot) pada dasbor Test Lab di Firebase console. Hasil uji mentah Anda juga disimpan di bucket Google Cloud agar lebih mudah digunakan dengan sistem CI.
Untuk melihat hasil pengujian, buka bagian Test Lab di Firebase console.
Anda akan menemukan daftar semua pengujian yang dijalankan di sana sebelumnya. Untuk memahami hasilnya, ada baiknya untuk mengetahui sedikit tentang matriks uji: Saat Anda menjalankan pengujian atau serangkaian kasus pengujian terhadap perangkat dan konfigurasi yang telah dipilih, Test Lab akan menjalankan pengujian terhadap aplikasi Anda dalam batch, lalu menampilkan hasilnya sebagai matriks uji.
Perangkat × Eksekusi Uji = Matriks Uji
- Perangkat
- Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks uji diidentifikasi menurut model perangkat, versi OS, orientasi layar, dan lokalitas (juga dikenal sebagai setelan geografi dan bahasa).
- Pengujian, eksekusi uji
- Pengujian (atau serangkaian kasus pengujian) yang dijalankan di perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau melakukan sharding pengujian dan menjalankan beberapa kasus pengujiannya pada perangkat yang berbeda.
- Matriks uji
- Berisi status dan hasil pengujian untuk eksekusi uji Anda. Jika salah satu eksekusi uji dalam matriks gagal, seluruh matriks akan gagal.
Menafsirkan hasil matriks uji
Jika Anda memulai pengujian di Firebase console, Test Lab akan mengarahkan Anda ke matriks uji yang sedang berlangsung, di mana Anda dapat menyaksikan kemajuan pengujian Anda secara langsung. Jika Anda menggunakan alat command line, Anda dapat mengikuti URL yang disediakan untuk dapat melihat halaman matriks uji yang sedang berlangsung.
Matriks memiliki baris untuk setiap eksekusi uji yang dijalankan Test Lab. Ikon sebelum nama eksekusi menampilkan status eksekusi:
- play_circle_outline Sedang berlangsung: Eksekusi uji masih berjalan. Eksekusi memerlukan waktu hingga 1 jam untuk diselesaikan, tergantung dari jumlah dan kerumitan pengujian di aplikasi Anda.
- check_circle Berhasil: Tidak ada eksekusi uji yang gagal.
- warning Gagal: Minimal ada satu eksekusi uji yang gagal.
- error Tidak meyakinkan: Hasil pengujian tidak meyakinkan, kemungkinan karena terjadi error pada Test Lab.
- diblokir Dilewati: Test Lab melewati pengujian Anda karena kombinasi versi OS/perangkat yang Anda pilih tidak tersedia.
Menafsirkan hasil dari eksekusi uji tunggal
Dari halaman hasil matriks uji, klik salah satu eksekusi uji untuk melihat hasil eksekusi uji tertentu.
Halaman ini menunjukkan statistik eksekusi uji tersebut, termasuk masalah yang dihadapi dalam pengujian, daftar kasus pengujian, catatan log dari eksekusi, dan video pengujian yang sedang berjalan.
Hasil uji mendetail
Hasil uji mendetail tersedia di bucket Google Cloud Storage selama 90 hari. Klik Lihat File Sumber di halaman hasil eksekusi uji untuk melihat bucket.
Agar hasil pengujian mendetail dapat disimpan selama lebih dari 90 hari, Anda harus mengirimkan hasil pengujian ini ke bucket Cloud Storage yang lebih permanen yang Anda miliki menggunakan opsi command line gcloud --results-bucket. Setelah itu, Anda dapat menetapkan setelan Durasi untuk menentukan durasi penyimpanan hasil di Cloud Storage. Untuk mengetahui informasi selengkapnya mengenai cara mengubah setelan Durasi, baca bagian Kondisi siklus proses.