Menganalisis Hasil Firebase Test Lab

Ada beberapa cara penggunaan Firebase Test Lab untuk menjalankan pengujian di aplikasi Android Anda, termasuk antarmuka command line, Android Studio, UI Test Lab di Firebase console, dan Testing API. Apa pun cara yang Anda pilih untuk memulai pengujian, hasilnya akan disimpan di project Firebase yang Anda tetapkan. Anda dapat mempelajari hasilnya menggunakan ToolResults API selain alat-alat di atas. Halaman ini menjelaskan cara meninjau dan menganalisis hasil pengujian tersebut.

Konsep utama

Untuk melihat hasil dari semua pengujian sebelumnya, pilih Test Lab di panel navigasi kiri pada project Anda di Firebase console. Halaman ini menampilkan semua pengujian yang dijalankan dari aplikasi yang telah diuji dengan project Anda menggunakan Test Lab.

Untuk meninjau hasil uji, Anda harus memahami tiga konsep terlebih dahulu:

Saat Anda menjalankan pengujian atau serangkaian kasus pengujian terhadap perangkat dan konfigurasi yang dipilih, Test Lab menjalankan pengujian terhadap aplikasi Anda dalam batch, lalu menampilkan hasilnya sebagai matriks uji.

Perangkat × Eksekusi Uji = Matriks Uji

Perangkat
Perangkat fisik atau virtual (khusus Android) tempat Anda menjalankan pengujian, seperti ponsel, tablet, atau perangkat wearable. Perangkat dalam matriks uji diidentifikasi menurut model perangkat, versi OS, orientasi layar, dan lokalitas (juga dikenal sebagai setelan geografi dan bahasa).
Pengujian, eksekusi uji
Pengujian (atau serangkaian kasus pengujian) yang dijalankan di perangkat. Anda dapat menjalankan satu pengujian per perangkat, atau melakukan sharding pengujian dan menjalankan beberapa kasus pengujiannya pada perangkat yang berbeda.
Matriks uji
Berisi status dan hasil pengujian untuk eksekusi uji Anda. Jika salah satu eksekusi uji dalam matriks gagal, seluruh matriks akan gagal.

Bagian berikut menjelaskan cara melihat hasil pengujian.

Menafsirkan hasil histori pengujian

Saat Anda ingin melihat hasil pengujian dengan memilih Test Lab, Anda akan melihat hasil pengujian yang telah dijalankan sejauh ini.

Histori pengujian dikelompokkan berdasarkan aplikasi. Hanya lima matriks uji terbaru yang ditampilkan untuk setiap aplikasi. Jika ada lebih dari lima matriks uji yang tersedia, Anda dapat mengklik link Semua Matriks di bagian bawah daftar pengujian aplikasi untuk melihat daftar lengkap aplikasi tersebut.

Menafsirkan hasil matriks uji

Saat memulai pengujian melalui UI Test Lab, Anda akan dialihkan ke halaman tempat Anda dapat melihat matriks uji, lalu klik eksekusi uji tertentu untuk melihat hasil pengujian. Android Studio dan perintah gcloud juga menyediakan URL untuk halaman hasil matriks uji.

Pada matriks uji biasa, Anda bisa menjalankan pengujian pada puluhan perangkat yang berbeda. Masing-masing eksekusi uji dapat berhasil atau gagal. Kemungkinan hasil untuk eksekusi uji dalam matriks uji adalah sebagai berikut:

  • Berhasil Pengujian Berhasil: Tidak ada kegagalan.
  • Gagal Pengujian Gagal: Minimal ada satu kegagalan.
  • Diragukan Pengujian Berhasil: Hasil pengujian tidak meyakinkan, kemungkinan karena terjadi error pada Test Lab.
  • Dilewati Pengujian Berhasil: Nilai dimensi yang dipilih untuk beberapa eksekusi uji dalam matriks tidak kompatibel. Hal ini terjadi jika perangkat yang dipilih tidak kompatibel dengan satu atau beberapa level API Android yang Anda pilih.

Guna meninjau hasil pengujian gabungan untuk semua matriks uji untuk aplikasi tertentu dalam project Firebase Anda, klik nama aplikasi tersebut, seperti yang ditunjukkan dalam contoh berikut:

Contoh halaman hasil matriks uji dengan hanya empat eksekusi uji Hasil Matriks Uji

Halaman ini akan mengarahkan Anda ke daftar matriks uji untuk aplikasi yang digunakan, dan Anda dapat mengklik nama matriks uji mana pun untuk melihat hasilnya. Anda juga dapat mengklik nama aplikasi (ditunjukkan di kotak merah di bawah ini) guna melihat daftar matriks uji untuk aplikasi lain yang terkait dengan project Firebase Anda.

Contoh halaman daftar matriks uji Daftar Matriks Uji

Suatu matriks uji bisa lulus, gagal, atau diragukan. Matriks uji dianggap gagal atau diragukan jika ada eksekusi uji dalam matriks tersebut yang gagal atau diragukan.

Menafsirkan hasil uji Robo

Jika Anda menjalankan pengujian dengan Robo, selain metrik uji biasa, hasil uji akan menyertakan video dan screenshot Robo yang melakukan crawling terhadap UI Anda. Video dan screenshot tersebut mencakup indikasi visual untuk tindakan yang dijalankan oleh Robo saat melakukan crawling, serupa dengan fitur 'Tampilkan sentuhan' di Android. Anda dapat menggunakan indikasi ini sebagai bantuan untuk memantau kemajuan Robo, dan mereproduksi setiap bug yang mungkin ditemukan oleh Robo.

Contoh video hasil uji Robo

Hasil uji Robo

Menafsirkan hasil dari eksekusi uji tunggal

Dari halaman hasil matriks uji, klik salah satu eksekusi uji untuk melihat hasilnya.

Contoh halaman hasil eksekusi ujiHasil eksekusi uji

Di halaman ini, Anda dapat melihat waktu yang diperlukan untuk setiap eksekusi uji. Anda juga dapat melihat hasil untuk kasus pengujian tertentu yang berhubungan dengan metode dalam APK pengujian (untuk uji instrumentasi) dan hasil uji mendetail, termasuk log, screenshot, dan video pengujian. Untuk Uji Robo, hasil uji mendetail juga mencakup peta aktivitas yang secara grafis menunjukkan lokasi UI yang dikunjungi Uji Robo.

Hasil uji instrumentasi yang dipartisi

Untuk membantu Anda menafsirkan hasil pengujian berinstrumen, Test Lab memisahkan setiap pengujian ke dalam halaman laporan mendetail tersendiri, lengkap dengan pelacakan tumpukan, log, dan video. Fitur ini berfungsi saat Anda menggunakan Android Orchestrator atau pun tidak.

Contoh halaman hasil kasus ujiHasil kasus uji

Menafsirkan hasil aksesibilitas

Uji Robo menggunakan Android Accessibility Scanner untuk mendeteksi masalah aksesibilitas di aplikasi Anda (perlu diperhatikan bahwa Anda juga dapat menjalankan pemindaian secara lokal di perangkat Anda). Untuk mendapatkan petunjuk terkait cara meninjau dan menafsirkan hasil aksesibilitas uji Robo, buka Memulai Accessibility Scanner.

Untuk mengetahui informasi umum tentang cara meningkatkan aksesibilitas aplikasi Anda, buka dokumentasi Aksesibilitas Developer Android.

Metrik performa

Pengujian pada perangkat fisik juga menampilkan metrik performa:

MetrikKonfigurasi perangkat yang diperlukan
Waktu mulai aplikasiAPI 19+
Penggunaan CPUAPI 21+
Penggunaan memori
Aktivitas jaringan
Frame per detikAPI 21+ dan menyertakan SurfaceView
Performa grafisAPI 23+

Detail performa grafis

Laporan performa grafis berisi statistik pada beberapa metrik grafis utama:

  • Vsync yang Terlewat: Jumlah peristiwa Vsync yang terlewat, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Latensi input tinggi: Jumlah peristiwa input yang memerlukan waktu lebih dari 24 milidetik, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • UI thread lambat: Frekuensi UI thread memerlukan waktu lebih dari 8 milidetik untuk diselesaikan, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Perintah draw lambat: Frekuensi yang mengirimkan perintah draw ke GPU memerlukan waktu lebih dari 12 milidetik, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Upload bitmap lambat: Frekuensi bitmap yang memerlukan waktu lebih dari 3,2 milidetik untuk diupload ke GPU, dibagi jumlah frame yang memerlukan waktu lebih dari 16 milidetik untuk di-render.
  • Waktu render: Distribusi waktu render untuk setiap frame selama pengujian dijalankan. Waktu render yang lebih lama dari 32 milidetik menyebabkan pelambatan UI Anda dengan jelas. Waktu render lebih dari 700 menunjukkan periode frozen. Data rendering dikumpulkan dari dumpsys graphicsstats.

Hasil uji mendetail

Hasil uji mendetail tersedia selama 90 hari setelah Anda menjalankan pengujian, dan disimpan di bucket Google Cloud Storage (tetapi juga dapat dilihat di Firebase console). Anda dapat melihat hasil uji mendetail di bucket Cloud Storage saat mengklik Test results di halaman hasil eksekusi uji. Jika hasil uji mendetail tidak lagi tersedia, Anda tetap dapat melihat pengujian mana saja yang lulus atau gagal.

Agar hasil uji mendetail dapat disimpan selama lebih dari 90 hari, Anda harus mengirimkan hasil pengujian ini ke bucket Cloud Storage yang Anda miliki menggunakan opsi command-line gcloud --results-bucket. Setelah itu, Anda dapat menetapkan setelan Durasi untuk menentukan durasi penyimpanan hasil dalam bucket Cloud Storage. Lihat Kondisi siklus proses untuk mengetahui informasi tentang cara mengubah setelan Durasi.