Test Lab sorun giderme & SSS

Bu sayfada, Firebase Test Lab ile test çalıştırma hakkında sorun giderme yardımı ve sık sorulan soruların yanıtları yer almaktadır. Bilinen sorunlar da belgelenir. Aradığınızı bulamıyorsanız veya daha fazla yardıma ihtiyacınız varsa Firebase Slack'teki #test-lab kanalına katılın ya da Firebase Destek Ekibi ile iletişime geçin.

Sorun giderme

Testimin çalışması neden bu kadar uzun sürüyor?

Test Lab katalogda yüksek kapasite seviyesine sahip bir cihaz seçtiğinizde testler daha hızlı başlayabilir. Cihazın kapasitesi düşük olduğunda testlerin çalışması daha uzun sürebilir. Çağrılan testlerin sayısı, seçilen cihazların kapasitesinden çok daha fazlaysa testlerin tamamlanması daha uzun sürebilir.

Herhangi bir düzeydeki cihaz kapasitesinde çalışan testler, aşağıdaki faktörler nedeniyle daha uzun sürebilir:

• Trafik (cihaz kullanılabilirliğini ve test hızını etkiler).
• Her an meydana gelebilecek cihaz veya altyapı arızaları Test Lab için bildirilen bir altyapı olup olmadığını kontrol etmek için Firebase durum kontrol paneli'ne bakın.

Test Lab'daki cihaz kapasitesi hakkında daha fazla bilgi edinmek için Android ve iOS'e yönelik cihaz kapasitesi bilgilerine bakın.

Neden kesin olmayan test sonuçları alıyorum?

Kesin olmayan test sonuçları genellikle iptal edilen test çalıştırmaları veya altyapı hataları nedeniyle ortaya çıkar.

Altyapı hataları, ağ hataları veya beklenmedik cihaz davranışları gibi dahili Test Lab sorunlardan kaynaklanır. Test Lab, altyapı hatalarına neden olan test çalıştırmalarını sonuçsuz bir sonuç bildirmeden önce dahili olarak birden çok kez devre dışı bırakır. Ancak failFast'i kullanarak bu yeniden denemeleri devre dışı bırakabilirsiniz.

Hatanın nedenini belirlemek için aşağıdaki adımları uygulayın:

1. Bilinen kesintiler için Firebase durum kontrol paneli'ni kontrol edin.

2. Tekrarlanabilir olduğunu doğrulamak için testi Test Lab içinde tekrar deneyin.

   Not: Test Lab, altyapı hataları için sizden ücret almaz.

3. Mümkünse testi farklı bir cihazda veya cihaz türünde çalıştırmayı deneyin.

Sorun devam ederse Firebase Slack'teki #test-lab kanalında Test Lab ekibiyle iletişime geçin.

Parçalama neden testlerimin daha uzun sürmesine neden oldu?

Parçalama, belirttiğiniz parça sayısı Test Lab'da kullanılabilecek cihaz sayısını aştığında testlerinizin daha uzun sürmesine neden olabilir. Bu durumu önlemek için farklı bir cihaza geçmeyi deneyin. Farklı bir cihaz seçme hakkında daha fazla bilgi için Cihaz Kapasitesi.

Testimin başlaması neden bu kadar uzun sürüyor?

Bir test isteği gönderdiğinizde uygulamanız önce doğrulanır, yeniden imzalanır vb. Cihazda test çalıştırmaya hazırlık yapılır. Bu işlem normalde birkaç saniyeden kısa sürer ancak uygulamanızın boyutu gibi faktörlerden etkilenebilir.

Uygulamanız hazırlandıktan sonra test yürütmeleri planlanır ve bir cihaz testi çalıştırmaya hazır olana kadar sıraya alınır. Tüm test işlemleri tamamlanana kadar matris durumu "Beklemede" olur (test işlemlerinin sırada olup olmamasından veya etkin bir şekilde çalışmasından bağımsız olarak).

Not: Testinizin kullanılabilir bir cihazı beklerken geçirdiği süre, faturalandırma sürenize dahil edilmez.

Testimin tamamlanması neden bu kadar uzun sürüyor?

Test yürütme işlemi tamamlandıktan sonra test yapıları cihazdan indirilir, işlenir ve Cloud Storage'ya yüklenir. Bu adımın süresi, yapay nesnelerin miktarına ve boyutuna bağlı olarak değişebilir.

Android'e özgü sorun giderme

Uygulama veri döndürmüyor ve ekran görüntüleri bulunamıyor

Test işlemi yapıları (ör. ekran görüntüleri ve günlük dosyaları) Google Cloud Storage içinde depolanır ve doğrudan Firebase konsolunda oluşturulur. Test işleminiz son 90 gün içinde gerçekleştirildiyse proje düzeyi rolleri (proje sahibi, proje düzenleyici veya proje görüntüleyici) atadığınızı kontrol edin. Ayrıca, Cloud Audit Logging'in projeniz veya kuruluşunuz için etkinleştirilmediğinden de emin olun.

Yürütme 90 günden daha uzun süre önce yapıldıysa test yapıları büyük olasılıkla otomatik olarak silinmiştir. Test Lab kontrol panelinde Test sonuçları sekmesini tıklayarak sonuç grubu yapılandırmasını kontrol edebilirsiniz. Varsayılan sonuç grubu, nesneleri 90 gün boyunca saklayacak şekilde yapılandırılır.

Test yapılarınızı daha uzun süre saklamak için gcloud firebase test android run komutunu --results-bucket işaretiyle çalıştırın ve sonuç paketinin adını iletin. Daha fazla bilgi için gcloud firebase test android run referans belgelerini inceleyin.

Neden kısmi veya eksik enstrümantasyon testi sonuçları alıyorum?

Enstrümantasyon testlerini çalıştırdığınızda, Test run failed to complete. Expected x tests, received y gibi mesajlar içeren kısmi sonuçları belirten test hataları görebilirsiniz (burada y, x'den küçüktür). Bu hata, Test Lab'ün genellikle AndroidJUnitRunner tarafından oluşturulan test durumu başlangıç veya bitiş işaretçileri için logcat'i ayrıştıramadığı anlamına gelir.

Bu sorunun yaygın nedenleri şunlardır:

Sorun açıklaması	Olası çözüm
Test durumu, zaman aşımı nedeniyle çalıştırılmadı. Testlerin toplam süresi, belirttiğiniz zaman aşımından veya maksimum zaman aşımından uzunsa Test Lab, test senaryolarının geri kalanını iptal eder.	Tüm testlerin tamamlanabilmesi için matrisin zaman aşımını artırın. Henüz yapmadıysanız testleri parçalara ayırın. Böylece her parça testlerin bir alt kümesini çalıştırır ve daha kısa sürede tamamlanır. Parçalamayı zaten etkinleştirdiyseniz parça sayısını artırın.
Test senaryosu, erken çıktığı veya takıldığı için tamamlanamadı. Test durumu, yakalanmamış bir istisna veya onaylama hatası nedeniyle erken çıkabilir. Test senaryoları sonsuz döngüye girebilir veya ilerleyemeyebilir. Örneğin, uygulama doğru görünümü göstermiyorsa ve test senaryosu kullanıcı arayüzünde işlemi gerçekleştiremiyorsa bu durum oluşabilir.	Testin nerede durduğunu araştırmak için videoyu ve logcat simgesini kontrol edin.
Özel bir test çalıştırıcı (AndroidJUnitRunner'ı genişletme dahil) beklenmedik şekilde çöktü veya logcat konumuna beklenmedik test durumu başlangıç ya da bitiş işaretçileri yazdı.	Test çalıştırıcı kodunuzu kontrol edin.
logcat konumuna aşırı günlük yazıldı. Bu durum, arabelleği aşırı yükledi veya logcat işleminin kilitlenmesine neden oldu.	Yazma işlemlerini logcat'e düşürün.
Test edilen uygulama kilitlendi.	Uygulamanızda hata ayıklayın.

---

Sık sorulan sorular (SSS)

Test Lab için ücretsiz kotalar nelerdir? Lisansım biterse ne yapmalıyım?

Firebase Test Lab, cihazlarda test etme ve Cloud API'lerini kullanma için ücretsiz kotalar sunar. Test kotasının standart Firebase fiyatlandırma planını kullandığını, Cloud API kotalarının ise kullanmadığını unutmayın.

• Test kotası

  Test kotaları, testleri çalıştırmak için kullanılan cihaz sayısına göre belirlenir. Firebase Spark planında, kullanıcılar için ücretsiz olan sabit bir test kotası bulunur. Blaze planında, Google Cloud kullanımınız zamanla artarsa kotalarınız da artabilir. Test kotanıza ulaşırsanız ertesi günü bekleyin veya şu anda Spark planındaysanız Blaze planına geçin. Zaten Blaze planındaysanız kota artışı talep edebilirsiniz. Daha fazla bilgi için Test kotası başlıklı makaleyi inceleyin.

  Test kotası kullanımınızı Google Cloud konsolunda izleyebilirsiniz.

• Cloud Testing API kotası

  Cloud Testing API'de iki kota sınırı vardır: proje başına günlük istek sayısı ve proje başına her 100 saniyede istek sayısı. Kullanımınızı Google Cloud konsolunda izleyebilirsiniz.

• Cloud Tool Results API kotası

  Cloud Tool Results API'de iki kota sınırı vardır: proje başına günlük sorgu sayısı ve proje başına her 100 saniyede sorgu sayısı. Kullanımınızı Google Cloud konsolunda izleyebilirsiniz.

  API sınırları hakkında daha fazla bilgi için Test Lab için Cloud API kotaları başlıklı makaleyi inceleyin. Bir API kotasına ulaştıysanız:

  • Doğrudan Google Cloud konsolunda kotalarınızı düzenleyerek daha yüksek kota isteğinde bulunun (Çoğu sınırın varsayılan olarak maksimuma ayarlandığını unutmayın) veya

  • Google Cloud konsolunda bir istek formu doldurarak veya Firebase Destek Ekibi ile iletişime geçerek daha yüksek API kotaları isteyin.

Arka uçuma ulaşan trafiğin Test Lab kaynaklı olup olmadığını nasıl öğrenebilirim?

Arka uçtan, kaynak IP adresini IP aralıklarımızla karşılaştırarak trafiğin Firebase'de barındırılan test cihazlarından gelip gelmediğini belirleyebilirsiniz.

Test Lab, VPC-SC ile çalışır mı?

Test Lab, VPC-SC ile çalışmaz. VPC-SC, uygulamaların ve diğer test yapıtlarının Test Lab'nın dahili depolama alanı ile kullanıcıların sonuç grupları arasında kopyalanmasını engeller.

Test Lab'da kararsız testleri nasıl tespit edebilirim?

Testlerinizdeki kararsız davranışları tespit etmek için --num-flaky-test-attempts seçeneğini kullanmanızı öneririz. Deflake yeniden çalıştırmaları, normal test işlemleriyle aynı şekilde faturalandırılır veya günlük kotanıza dahil edilir.

Şunları unutmayın:

• Bir hata algılandığında test işlemi tekrar çalıştırılır. Yalnızca başarısız olan test durumlarını yeniden deneme desteği yoktur.
• Deflake yeniden deneme çalıştırmaları aynı anda çalışacak şekilde planlanır ancak trafiğin kullanılabilir cihaz sayısını aştığı durumlarda paralel olarak çalışacağı garanti edilmez.

Not: Altyapı hataları, deflake özelliğinden bağımsızdır ve deflake yeniden çalıştırmalarını tetiklemez.

iOS'a özel SSS

Test Lab; Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'ı destekliyor mu?

Bu öğelerin bazıları yol haritamızda yer alsa da şu anda bu test ve uygulama geliştirme platformlarının desteklenmesiyle ilgili bir taahhüt veremiyoruz.

Çözünürlük gibi cihaz ayrıntılarını nerede bulabilirim?

Ayrıntılı cihaz bilgileri API üzerinden kullanılabilir ve gcloud istemcisinden describe komutu kullanılarak erişilebilir:

gcloud firebase test ios models describe MODEL

iOS testlerinde parçalama kullanabilir miyim?

Parçalama, iOS için Test Lab'da yerel olarak desteklenmez. Ancak iOS test senaryolarını parçalamak için Flank istemcisini kullanabilirsiniz.

Not: Flank iOS parçalama kullanıldığında her parça için ayrı test matrisleri oluşturulur.

Bu işlem, .xctestrun dosyasında OnlyTestIdentifiers anahtarını ve değerlerini ayarlayarak çalışır. Daha fazla bilgi için xcodebuild.xctestrun ile ilgili man sayfasına bakın.

iOS test sonuçlarımda neden videolar eksik?

iOS 18 veya sonraki sürümlerde sonuçlardaki videolar desteklenmez.

Android'e özel SSS

Test Lab, giyilebilir cihazları destekliyor mu?

Evet! Test Lab, Google Pixel Watch'u destekler. Artık Google Pixel Watch'larda bağımsız Wear uygulamanızda testler çalıştırabilirsiniz. Test Lab cihazlar hakkında daha fazla bilgi edinmek için Kullanılabilir cihazlarda test etme başlıklı makaleyi inceleyin.

Test Lab, en yeni Google cihazlarını destekliyor mu?

Evet! Test Lab, Google Pixel Tablet ve Google Pixel Fold'u destekler. Testlerinizi bağımsız fiziksel cihazlarınızda çalıştırabilirsiniz. Test Lab cihazlar hakkında daha fazla bilgi edinmek için Kullanılabilir cihazlarda test etme başlıklı makaleyi inceleyin.

Test Lab'da çalışan bir testi nasıl tespit ederim?

Uygulamanızı Firebase'de test ediyorsanız veya Play Console'da lansman öncesi rapor için testler çalıştırıyorsanız MainActivity dosyanızda firebase.test.lab sistem özelliğini kontrol ederek testin Firebase'de barındırılan bir cihazda çalıştırılıp çalıştırılmadığını tespit edebilirsiniz. Daha sonra, testLabSetting için boolean değerine göre ek ifadeler yürütebilirsiniz. Daha fazla bilgi için Değiştirilmiş test davranışları başlıklı makaleyi inceleyin.

Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'ı destekliyor mu?

Bu öğelerin bazıları yol haritamızda yer alsa da şu anda bu test ve uygulama geliştirme platformlarının desteklenmesiyle ilgili bir taahhüt veremiyoruz. Ancak uygulamanızı Espresso'yu destekleyen bir çerçeveyle (ör. Flutter) oluşturduysanız Espresso kullanarak bir enstrümantasyon testi yazabilir ve testi Test Lab içinde çalıştırabilirsiniz.

Test Lab (ör. ProGuard veya R8 ile) karartılmış uygulamaların test edilmesini destekliyor mu?

Test Lab, karartma veya karartmayı kaldırma işlemlerini açıkça desteklemez. Uygulama büyük olasılıkla çalışır ancak yığın izleri gibi karartılmış uygulama verileri günlüklerde karartılmış olarak görünür.

Test Lab üzerinde test yaparken katlanabilir cihazımı farklı katlanabilir durumlarda ve pozisyonlarda kullanabilir miyim?

Evet! Katlanabilir cihazınızı katlanabilir durumlar ve pozisyonlarda test edebilirsiniz.

Katlanabilir cihazlar, FLAT (tamamen açık) veya HALF_OPENED (tamamen açık ve tamamen kapalı arasında) gibi çeşitli katlanmış durumlarda olabilir.

Pozisyonlar ise belirli bir cihaz yönü ve katlanabilir durumdan oluşur. Örneğin, yatay yönde HALF_OPENED durumu olan masaüstü duruşu veya dikey yönde HALF_OPENED durumu olan kitap duruşu.

Enstrümantasyon testleri çalıştırıyorsanız farklı durumlar ve pozisyonlarda test etmek için Jetpack WindowManager kitaplığını kullanabilir ve katlanabilir cihazlarda uygulamanızı test etme dokümanlarını inceleyebilirsiniz.

Alternatif olarak, kullanılabilir durumlar cihaza özeldir ve adb shell command cmd device_state kullanılarak bunlarla etkileşim kurulabilir.

• Mevcut durumu listelemek için adb shell cmd device_state state komutunu çalıştırın.
• Mevcut durumu ayarlamak veya geçersiz kılmak için adb shell cmd device_state state <IDENTIFIER> komutunu çalıştırın.
• Durumu sıfırlamak için adb shell cmd device_state state reset komutunu çalıştırın.
• Kullanılabilir durumları kontrol etmek için katlanabilir cihazda adb shell cmd device_state print-states komutunu çalıştırın.

Google Pixel Fold (model kimliği felix)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

Samsung Galaxy Z Fold4 (model kimliği q4q)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

Uygulamam yoksa Test Lab'yı deneyebilir miyim?

Diğer Firebase ürünlerinin aksine, Test Lab kullanmak için Firebase SDK'sı eklemeniz gerekmez. Henüz bir uygulamanız yoksa internetten bir APK indirebilir veya AndroidX GitHub deposundaki örneklerden birini kullanarak uygulama ve test APK'sı oluşturabilirsiniz. Robo testi çalıştırmak için yalnızca uygulamanızın APK dosyasının, enstrümantasyon testi için ise kaynak koddan oluşturulmuş hem uygulamanın hem de test APK'sının gerektiğini unutmayın. Daha fazla bilgi için Enstrümanlı testler hakkında bilgi edinin.

Test Lab özellikleri hakkında daha fazla bilgi edinmek için Firebase Test Lab ile Android'de test etmeye başlama başlıklı makaleyi inceleyin.

Ekran görüntüsü karşılaştırma testi için en uygun cihazlar hangileridir?

Ekran görüntüsü karşılaştırma testi, test onaylarının, test çalıştırılırken elde edilen ekran görüntülerini beklenen davranışı temsil eden altın görüntülerle karşılaştırmaya dayandığı bir testtir. Bu tür testler, bazı cihaz türlerinde diğerlerine kıyasla daha hassas olabilir. Bu tür testler için Arm (*.arm) emülatör cihazlarını hedeflemenizi öneririz. Arm emülatör cihazları, Android Studio'nun "genel" emülatörlerine çok benzeyen veya onlarla aynı olan görüntüler kullanır.

Ayrıca, beklenen değişiklikler olduğunda ekran görüntüsü testlerini daha sağlam hale getirmeye yardımcı olabilecek test kitaplıklarını araştırmanızı öneririz.

Test Lab sanal cihazları günceller mi?

Evet! Sanal cihazlar, aşağıdaki değişiklikler yapıldığında güncellenir:

1. Mevcut resimlerde yapılan güncellemeler
2. Daha önceki API düzeylerinin desteğinin sonlandırılması
3. Yeni Android API düzeyleri eklenir

Kapsam raporlarını nasıl etkinleştirebilirim?

Kapsam raporlarını etkinleştirmek için environmentVariables alanına coverage=true ekleyin. Android Test Orchestrator kullanıyorsanız kapsam sonuçlarını depolamak için bir dizin sağlamanız gerekir:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

Orchestrator kullanmıyorsanız bir dosya yolu belirtebilirsiniz:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

Çözünürlük ve desteklenen ABI'ler gibi cihaz ayrıntılarını nerede bulabilirim?

Ayrıntılı cihaz bilgileri API üzerinden kullanılabilir ve gcloud istemcisinden describe komutu kullanılarak erişilebilir:

gcloud firebase test android models describe MODEL

---

Bilinen sorunlar

Oturum açma Captcha'ları

Robo testi, oturum açmak için kimlik bilgilerini girmenin dışında ek kullanıcı işlemi (ör. CAPTCHA tamamlama) gerektiren oturum açma ekranlarını atlayamaz.

iOS'e özgü bilinen sorunlar

Otomatik oturum açma

iOS+ (Beta) için Robo testlerinde Google Hesabı ile otomatik olarak oturum açma desteklenmez.

Android'e özgü bilinen sorunlar

Kullanıcı arayüzü çerçevesi desteği

Robo testi, Android kullanıcı arayüzü çerçevesindeki kullanıcı arayüzü öğelerini (View, ViewGroup ve WebView nesneleri dahil) kullanan uygulamalarda en iyi şekilde çalışır. Unity oyun motorunu kullanan uygulamalar da dahil olmak üzere diğer kullanıcı arayüzü çerçevelerini kullanan uygulamaları çalıştırmak için Robo testini kullanırsanız test, ilk ekranın ötesine geçmeden sonlandırılabilir.