Android uygulamanızda test çalıştırmak için Firebase Test Lab'ü kullanmanın birden fazla yolu vardır. Komut satırı arayüzü, Android Studio, Firebase konsolundaki Test Lab kullanıcı arayüzü ve Testing API bunlardan bazılarıdır. Testlerinizi başlatmayı nasıl seçerseniz seçin, sonuçlar belirttiğiniz Firebase projesinde depolanır. Yukarıdaki araçlardan herhangi birine ek olarak ToolResults API'yi kullanarak sonuçları keşfedebilirsiniz. Bu sayfada, bu test sonuçlarını nasıl inceleyeceğiniz ve analiz edeceğiniz açıklanmaktadır.
Temel kavramlar
Önceki tüm test çalıştırmalarınızın sonuçlarını görmek için Firebase konsolundaki projenizin sol gezinme panelinde Test Lab simgesini seçin. Bu sayfada, Test Lab kullanarak projenizle test ettiğiniz uygulamalardaki tüm test çalıştırmaları gösterilir.
Test sonuçlarını incelemek için öncelikle üç kavramı anlamanız gerekir:
Seçtiğiniz cihazlar ve yapılandırmalar için bir test veya test senaryosu grubu çalıştırdığınızda Test Lab, testi uygulamanız üzerinde toplu olarak çalıştırır ve sonuçları test matrisi olarak gösterir.
Cihazlar × Test Çalıştırmaları = Test Matrisi
- Cihaz
- Telefon, tablet veya giyilebilir cihaz gibi üzerinde test çalıştırdığınız fiziksel ya da sanal bir cihaz (yalnızca Android). Test matrisindeki cihazlar; cihaz modeli, işletim sistemi sürümü, ekran yönü ve yerel ayar (coğrafi bölge ve dil ayarları olarak da bilinir) ile tanımlanır.
- Test, test yürütme
- Bir cihazda çalıştırılacak test (veya test durumları grubu). Cihaz başına bir test çalıştırabilir veya isteğe bağlı olarak testi bölebebilir ve test durumlarını farklı cihazlarda çalıştırabilirsiniz.
- Test matrisi
- Test çalıştırmalarınızın durumlarını ve test sonuçlarını içerir. Bir matristeki herhangi bir test yürütme işlemi başarısız olursa matrisin tamamı başarısız olur.
Aşağıdaki bölümlerde, test sonuçlarında nasıl gezineceğiniz açıklanmaktadır.
Test geçmişi sonuçlarını yorumlama
Test Lab simgesini seçerek test sonuçlarınıza gittiğinizde, o ana kadar çalıştırdığınız testlerin sonuçlarını görürsünüz.
Test geçmişi uygulamaya göre gruplandırılır. Her uygulama için yalnızca en son beş test matrisi gösterilir. Daha fazla test matrisi varsa ilgili uygulamanın tam listesini görmek için uygulama testi listesinin alt kısmındaki Tüm Matrisler bağlantısını tıklayabilirsiniz.
Test matrisi sonuçlarını yorumlama
Test Lab kullanıcı arayüzü üzerinden bir test başlattığınızda test matrisinizi görebileceğiniz ve test sonuçlarını görüntülemek için belirli bir test yürütme işlemini tıklayabileceğiniz bir sayfaya yönlendirilirsiniz. Android Studio ve gcloud komutu, test matrisi sonuç sayfası için de bir URL sağlar.
Tipik bir test matrisinde, yaklaşık bir düzine farklı cihazda test çalıştırabilirsiniz. Her test çalıştırmasının sonucu farklı olabilir. Bir test matrisindeki herhangi bir test yürütme işleminin olası sonuçları şunlardır:
- Geçti
: Hiçbir hatayla karşılaşılmadı. - Başarısız
: En az bir hatayla karşılaşıldı. - Kesin olmayan
: Test sonuçları, muhtemelen bir Test Lab hatası nedeniyle kesin değildi. - Atlandı
: Matristeki bazı test çalıştırmaları için seçilen boyut değerleri uyumlu değildi. Bu durum, seçtiğiniz cihazlar seçtiğiniz Android API düzeylerinden biri veya daha fazlasıyla uyumlu olmadığında ortaya çıkar.
Firebase projenizdeki belirli bir uygulamanın tüm test matrisleri için toplu test sonuçlarını incelemek üzere aşağıdaki örnekte gösterildiği gibi uygulamanın adını tıklayın:
Yalnızca dört test çalıştırması içeren örnek test matrisi sonuç sayfası
Bu işlem sizi uygulamanızın test matrisi listesine yönlendirir. Burada, test matrisi sonuçlarını görmek için herhangi bir test matrisinin adını tıklayabilir ve Firebase projenizle ilişkili diğer uygulamaların test matrisi listesini görüntülemek için uygulamanın adını (aşağıdaki kırmızı kutuda gösterilir) tıklayabilirsiniz.
Örnek test matrisi listesi sayfası
Test matrisi başarılı, başarısız veya sonuç alınamamış olabilir. Bir matristeki test çalıştırmaları başarısız olursa veya sonuç alınamazsa matris başarısız veya sonuçsuz olarak gösterilir.
Robo testi sonuçlarını yorumlama
Testlerinizi Robo ile çalıştırdıysanız sonuçlarınızda, normal test metriklerine ek olarak Robo'nun kullanıcı arayüzünüzü taradığı videolar ve ekran görüntüleri yer alır. Bu video ve ekran görüntüleri, Android'deki "Dokunmaları göster" özelliğine benzer şekilde, tarama sırasında Robo'nun gerçekleştirdiği işlemlerin görsel göstergelerini içerir. Robo'nun ilerleme durumunu takip etmenize ve tespit edebileceği hataları yeniden oluşturmanıza yardımcı olması için göstergeleri kullanabilirsiniz.
Örnek Robo Testi sonuçları videosu
Tek bir test yürütme işleminden elde edilen sonuçları yorumlama
Test matrisi sonuç sayfasında, belirli bir test yürütmesinin sonucunu görmek için test yürütmelerinden birini tıklayın.
Test yürütme sonuçları sayfası örneği
Bu sayfada, her bir testin yürütülmesi için gereken süreyi görebilirsiniz. Test APK'nızdaki yöntemlere karşılık gelen belirli test durumlarının sonuçlarını (enstrümantasyon testleri için) ve test günlükleri, ekran görüntüleri ve videolar dahil olmak üzere ayrıntılı test sonuçlarını da görebilirsiniz. Robo testi için ayrıntılı test sonuçları, Robo testi tarafından ziyaret edilen kullanıcı arayüzü yollarını grafiksel olarak gösteren bir etkinlik haritası da içerir.
Bölünmüş enstrümantasyon testi sonuçları
Test Lab, enstrümante edilmiş test sonuçlarını yorumlamanıza yardımcı olmak için her testi yığın izlemeleri, günlükler ve videolarla birlikte kendi ayrıntılı rapor sayfasında ayırır. Bu özellik, Android Orchestrator'u kullanıp kullanmadığınıza bakılmaksızın çalışır.
Örnek test sonucu sayfası
Erişilebilirlik sonuçlarını yorumlama
Robo testler, uygulamanızdaki erişilebilirlik sorunlarını tespit etmek için Android Erişilebilirlik Tarayıcısı'nı kullanır (cihazınızda yerel olarak da tarama yapabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını nasıl inceleyeceğiniz ve yorumlayacağınız hakkında talimatlar için Erişilebilirlik Tarayıcısı'nı kullanmaya başlama başlıklı makaleyi inceleyin.
Uygulamanızın erişilebilirliğini iyileştirme hakkında genel bilgi edinmek için Android Geliştiricisi Erişilebilirlik belgelerini inceleyin.
Performans metrikleri
Fiziksel cihazlarda çalıştırılan testler de performans metrikleri döndürür:
| Metrik | Gerekli cihaz yapılandırması |
|---|---|
| Uygulama başlatma süresi | API 19+ |
| CPU kullanımı | API 21+ |
| Bellek kullanımı | |
| Ağ etkinliği | |
| Saniyedeki kare sayısı | API 21 veya sonraki sürümler ve SurfaceView içermelidir. |
Ayrıntılı test sonuçları
Ayrıntılı test sonuçları, bir testi çalıştırdıktan 90 gün sonra kullanılabilir ve Google Cloud Storage paketinde saklanır (ancak Firebase konsolunda da görülebilir). Test yürütme sonuçları sayfasında Test sonuçları'nı tıkladığınızda Cloud Storage kovasında ayrıntılı test sonuçlarını görüntüleyebilirsiniz. Ayrıntılı test sonuçları artık mevcut olmadığında hangi testlerin başarılı veya başarısız olduğunu görebilirsiniz.
Ayrıntılı test sonuçlarını 90 günden uzun süre saklamak için --results-bucket gcloud komut satırı seçeneğini kullanarak bu test sonuçlarını sahip olduğunuz bir Cloud Storage paketine göndermeniz gerekir. Ardından, sonuçların Cloud Storage paketinizde ne kadar süreyle saklanacağını belirlemek için Yaş ayarını belirleyebilirsiniz. Yaş ayarının nasıl değiştirileceği hakkında bilgi edinmek için Yaşam döngüsü koşulları başlıklı makaleyi inceleyin.