Firebase Test Laboratuvarı Sonuçlarını Analiz Edin

Komut satırı arabirimi , Android Studio , Firebase konsolundaki Test Lab kullanıcı arabirimi ve Testing API dahil olmak üzere Android uygulamanızda testler çalıştırmak için Firebase Test Lab'ı kullanmanın birden çok yolu vardır. Testlerinizi nasıl başlatmayı seçerseniz seçin, sonuçlar belirttiğiniz Firebase projesinde saklanır. Yukarıdaki araçlardan herhangi birine ek olarak ToolResults API'yi kullanarak sonuçları inceleyebilirsiniz. Bu sayfada, bu test sonuçlarının nasıl inceleneceği ve analiz edileceği açıklanmaktadır.

Anahtar kavramlar

Önceki tüm test çalıştırmalarınızın sonuçlarını görmek için Firebase konsolundaki projenizin sol gezinme panelinde Test Laboratuvarı'nı seçin. Bu sayfa, Test Lab kullanarak projenizle test ettiğiniz uygulamalardan yapılan tüm test çalıştırmalarını görüntüler.

Test sonuçlarını incelemek için önce üç kavramı anlamanız gerekir:

Seçtiğiniz cihazlara ve yapılandırmalara karşı bir test veya bir dizi test çalışması çalıştırdığınızda, Test Lab testi uygulamanıza karşı toplu olarak çalıştırır ve ardından sonuçları bir test matrisi olarak görüntüler.

Cihazlar × Test Yürütmeleri = Test Matrisi

Cihaz
Telefon, tablet veya giyilebilir cihaz gibi üzerinde test yaptığınız fiziksel veya sanal bir cihaz (yalnızca Android). Bir test matrisindeki cihazlar, cihaz modeli, işletim sistemi sürümü, ekran yönü ve yerel ayar (coğrafya ve dil ayarları olarak da bilinir) ile tanımlanır.
Test, test yürütme
Bir cihazda çalıştırılacak bir test (veya bir dizi test senaryosu). Cihaz başına bir test çalıştırabilir veya isteğe bağlı olarak testi parçalara ayırabilir ve test senaryolarını farklı cihazlarda çalıştırabilirsiniz.
Test matrisi
Test yürütmeleriniz için durumları ve test sonuçlarını içerir. Bir matristeki herhangi bir test yürütme başarısız olursa, matrisin tamamı başarısız olur.

Aşağıdaki bölümlerde test sonuçlarında nasıl gezinileceği açıklanmaktadır.

Test geçmişi sonuçlarını yorumlama

Test Laboratuvarı'nı seçerek test sonuçlarınıza gittiğinizde, o ana kadar yaptığınız testlerin sonuçlarını görürsünüz.

Test geçmişi, uygulamaya göre gruplandırılmıştır. Her uygulama için yalnızca en son beş test matrisi gösterilir; daha fazla varsa, o uygulamanın tam listesini görmek için uygulama test listesinin altındaki Tüm Matrisler bağlantısını tıklayabilirsiniz.

Test matrisi sonuçlarını yorumlama

Test Laboratuvarı Kullanıcı Arayüzü aracılığıyla bir testi başlatırken, test matrisinizi görebileceğiniz bir sayfaya yönlendirilirsiniz ve test sonuçlarını görüntülemek için belirli bir test yürütmesine tıklarsınız. Android Studio ve gcloud komutu, test matrisi sonuç sayfası için de bir URL sağlar.

Tipik bir test matrisinde, bir düzine kadar farklı cihazda bir test çalıştırabilirsiniz. Her test yürütmesinin farklı bir sonucu olabilir. Bir test matrisindeki herhangi bir test yürütmesinin olası sonuçları şunları içerir:

  • GeçtiTest geçildi : Herhangi bir arıza ile karşılaşılmadı.
  • ArızalıTest başarısız : En az bir hatayla karşılaşıldı.
  • sonuçsuzTest geçildi : Test sonuçları, muhtemelen bir Test Laboratuvarı hatası nedeniyle kesin değildi.
  • atlandıTest geçildi : Matristeki bazı test uygulamaları için seçilen boyut değerleri uyumsuzdu. Bu, seçtiğiniz cihazlar seçtiğiniz bir veya daha fazla Android API düzeyiyle uyumsuz olduğunda ortaya çıkar.

Firebase projenizdeki belirli bir uygulama için tüm test matrislerine ilişkin toplu test sonuçlarını incelemek için aşağıdaki örnekte gösterildiği gibi uygulamanın adını tıklayın:

Yalnızca dört test yürütme içeren örnek test matrisi sonuç sayfası Test Matrisi Sonuçları

Bu sizi uygulamanızın test matrisi listesine götürür; burada test matrisi sonuçlarını görmek için herhangi bir test matrisinin adını tıklayabilir ve sonuçları görüntülemek için uygulamanın adını (aşağıdaki kırmızı kutuda gösterilmiştir) tıklayabilirsiniz. Firebase projenizle ilişkili diğer uygulamalar için test matrisi listesi.

Örnek test matrisi liste sayfası Test Matrisi Listesi

Bir test matrisi geçebilir, başarısız olabilir veya sonuçsuz kalabilir. Bir test matrisi, söz konusu matristeki herhangi bir test yürütmesinin başarısız olması veya sonuçsuz kalması durumunda başarısız veya sonuçsuz olarak gösterilir.

Robo test sonuçlarını yorumlayın

Testlerinizi Robo ile yaptıysanız, sonuçlarınız, olağan test ölçümlerine ek olarak, Robo'nun kullanıcı arayüzünüzü taradığı videoları ve ekran görüntülerini içerir. Bu video ve ekran görüntüleri, Android'deki "Dokunuşları göster" özelliğine benzer şekilde, Robo'nun tarama sırasında gerçekleştirdiği eylemlerin görsel göstergelerini içerir. Göstergeleri, Robo'nun ilerleyişini takip etmenize ve ortaya çıkarabileceği hataları yeniden oluşturmanıza yardımcı olması için kullanabilirsiniz.

Örnek Robo test sonuçları videosu

Robot test sonuçları

Tek bir test yürütmesinden elde edilen sonuçları yorumlama

Test matrisi sonuçları sayfasından, söz konusu test yürütmesinin sonucunu görmek için test yürütmelerinden birine tıklayın.

Örnek test yürütme sonuçları sayfasıTest yürütme sonuçları

Bu sayfada, her test yürütmesi için gereken süreyi görebilirsiniz. Test APK'nızdaki (enstrümantasyon testleri için) yöntemlere karşılık gelen belirli test durumlarının sonuçlarını ve test günlükleri, ekran görüntüleri ve videolar dahil ayrıntılı test sonuçlarını da görebilirsiniz. Robo test için ayrıntılı test sonuçları, Robo test tarafından ziyaret edilen UI yollarını grafiksel olarak gösteren bir aktivite haritası da içerir.

Bölünmüş enstrümantasyon test sonuçları

Araçlı test sonuçlarını yorumlamanıza yardımcı olmak için Test Lab, her testi yığın izlemeleri, günlükleri ve videolarıyla birlikte kendi ayrıntılı rapor sayfasına ayırır. Bu özellik, Android Orchestrator kullansanız da kullanmasanız da çalışır.

Örnek test durumu sonuçları sayfası test davası sonuçları

Erişilebilirlik sonuçlarını yorumlama

Robo testleri, uygulamanızdaki erişilebilirlik sorunlarını algılamak için Android Erişilebilirlik Tarayıcısını kullanır (cihazınızda yerel olarak da bir tarama çalıştırabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını nasıl inceleyeceğiniz ve yorumlayacağınızla ilgili talimatlar için Erişilebilirlik Tarayıcısını kullanmaya başlayın sayfasını ziyaret edin.

Uygulamanızın erişilebilirliğini nasıl iyileştireceğinize ilişkin genel bilgiler için Android Geliştirici Erişilebilirlik belgelerini ziyaret edin.

Performans metrikleri

Fiziksel cihazlarda yürütülen testler ayrıca performans ölçümlerini de döndürür:

Metrik Gerekli cihaz konfigürasyonu
Uygulama başlatma zamanı API 19+
CPU kullanımı API 21+
Hafıza kullanımı
Ağ etkinliği
Saniyedeki kare sayısı API 21+ ve bir SurfaceView içerir
Grafik performansı API 23+

Grafik performansı ayrıntıları

Grafik performans raporu, birkaç temel grafik metriğiyle ilgili istatistikleri içerir:

  • Eksik Vsync: Oluşturulması 16 ms'den uzun süren karelerin sayısına bölünen kaçırılan Vsync olaylarının sayısı.
  • Yüksek giriş gecikmesi: 24 ms'den uzun süren giriş olaylarının sayısının, işlenmesi 16 ms'den uzun süren kare sayısına bölümü.
  • Yavaş UI iş parçacığı: UI iş parçacığının tamamlanmasının 8 ms'den fazla sürdüğü sayının oluşturulması 16 ms'den uzun süren karelerin sayısına bölümü.
  • Yavaş çizim komutları: GPU'ya çizim komutlarının gönderilmesinin 12 ms'den uzun sürme sayısının, işlenmesi 16 ms'den uzun süren kare sayısına bölümü.
  • Yavaş bitmap yüklemeleri: Bitmap'in GPU'ya yüklenmesinin 3,2 ms'den uzun sürme sayısının, işlenmesi 16 ms'den uzun süren kare sayısına bölümü.
  • Oluşturma süresi: Test çalışmasının her karesi için oluşturma sürelerinin dağılımı. 32 milisaniyeden daha uzun oluşturma süreleri, kullanıcı arabiriminizde algılanabilir bir yavaşlamaya neden olur. 700'den fazla oluşturma süresi donmuş kareleri gösterir. İşleme verileri, dumpsys graphicsstats toplanır.

Ayrıntılı test sonuçları

Ayrıntılı test sonuçları, bir testi çalıştırdıktan sonra 90 gün boyunca kullanılabilir ve bir Google Cloud Storage paketinde saklanır (ancak Firebase konsolunda da görünür). Test yürütme sonuçları sayfasında Test sonuçları'na tıkladığınızda ayrıntılı test sonuçlarını Bulut Depolama bölmesinde görüntüleyebilirsiniz. Ayrıntılı test sonuçları artık mevcut olmadığında, hangi testlerin başarılı veya başarısız olduğunu görmeye devam edebilirsiniz.

Ayrıntılı test sonuçlarını 90 günden daha uzun süre saklamak için --results-bucket gcloud komut satırı seçeneğini kullanarak bu test sonuçlarını sahibi olduğunuz bir Cloud Storage paketine göndermeniz gerekir. Ardından, sonuçların Cloud Storage paketinizde ne kadar süreyle saklanacağını belirlemek için Yaş ayarını belirleyebilirsiniz. Yaş ayarının nasıl değiştirileceği hakkında bilgi için Yaşam Döngüsü koşullarına bakın.