Bu sayfada, Firebase Test Lab ile test çalıştırma hakkında sık sorulan soruların yanıtları ve sorun giderme yardımı sağlanmaktadır. Bilinen sorunlar da belgelenmiştir. Aradığınızı bulamıyorsanız veya daha fazla yardıma ihtiyacınız varsa Firebase Slack'teki #test-lab kanalına katılın veya Firebase Destek Ekibi ile iletişime geçin.
Sorun giderme
Testimin çalışması neden bu kadar uzun sürüyor?
Test Lab kataloğunda yüksek kapasite düzeyine sahip bir cihaz seçtiğinizde testler daha hızlı başlayabilir. Cihazın kapasitesi düşükse testlerin yürütülmesi daha uzun sürebilir. Çağrılan testlerin sayısı, seçilen cihazların kapasitesinden çok daha büyükse testlerin tamamlanması daha uzun sürebilir.
Herhangi bir düzeyde cihaz kapasitesi üzerinde çalıştırılan testler aşağıdaki faktörler nedeniyle daha uzun sürebilir:
Cihaz kullanılabilirliğini ve test hızını etkileyen trafik.
Her an gerçekleşebilecek cihaz veya altyapı hataları. Test Lab için bildirilmiş bir altyapı olup olmadığını kontrol etmek isterseniz Firebase durum kontrol paneline bakın.
Test Lab'teki cihaz kapasitesi hakkında daha fazla bilgi edinmek için Android ve iOS için cihaz kapasitesi bilgilerine bakın.
Neden kesin olmayan test sonuçları alıyorum?
Kesin olmayan test sonuçları genellikle iptal edilen test çalıştırmaları veya altyapı hataları nedeniyle ortaya çıkar.
Altyapı hataları, ağ hataları veya beklenmedik cihaz davranışları gibi dahili Test Lab sorunlarından kaynaklanır. Test Lab, kesin olmayan bir sonuç bildirmeden önce birden çok kez altyapı hatası oluşturan test çalıştırmalarını dahili olarak emekliye ayırır. Ancak failFast'ı kullanarak bu yeniden denemeleri devre dışı bırakabilirsiniz.
Hatanın nedenini belirlemek için aşağıdaki adımları uygulayın:
Tekrarlanabilirliğini doğrulamak için Test Lab'te testi tekrar deneyin.
Testi farklı bir cihazda veya cihaz türünde (varsa) çalıştırmayı deneyin.
Sorun devam ederse Firebase Slack'teki #test-lab kanalındaTest Lab ekibiyle iletişime geçin.
Bölme işlemi, testlerimin neden daha uzun sürmesine neden oldu?
Belirttiğiniz parça sayısı Test Lab'te kullanılabilen cihaz sayısını aştığında parçalara ayırma, testlerinizin daha uzun sürmesine neden olabilir. Bu durumu önlemek için farklı bir cihaza geçmeyi deneyin. Farklı bir cihaz seçme hakkında daha fazla bilgi için
Cihaz Kapasitesi.
Testimin başlaması neden bu kadar uzun sürüyor?
Bir test isteği gönderdiğinizde uygulamanız, cihazda test çalıştırmaya hazırlanmak için önce doğrulanır, yeniden imzalanır vb. Bu işlem genellikle birkaç saniyeden kısa sürer ancak uygulamanızın boyutu gibi faktörlerden etkilenebilir.
Uygulamanız hazırlandıktan sonra test çalıştırmaları planlanır ve bir cihaz çalıştırmaya hazır olana kadar kuyrukta kalır. Tüm test çalıştırmaları tamamlanana kadar matris durumu "Beklemede" olur (test çalıştırmalarının sırada olup olmadığından veya etkin bir şekilde çalışıp çalışmadığından bağımsız olarak).
Testimin tamamlanması neden bu kadar uzun sürüyor?
Test çalıştırması tamamlandıktan sonra test yapıları cihazdan indirilir, işlenir ve Cloud Storage'e yüklenir. Bu adımın süresi, yapıların miktarından ve boyutundan etkilenebilir.
Sık sorulan sorular
Test Lab için ücretsiz kotalar nelerdir? Kredim tükenirse ne yapmalıyım?
Firebase Test Lab, cihazlarda test yapmak ve Cloud API'leri kullanmak için ücretsiz kotalar sunar. Test kotasının standart Firebase fiyatlandırma planını kullandığını, Cloud API kotalarının ise kullanmadığını unutmayın.
Test kotası
Test kotaları, test çalıştırmak için kullanılan cihaz sayısına göre belirlenir.
Firebase Spark planında, kullanıcılara ücretsiz olarak sunulan sabit bir test kotası vardır. Blaze planında, Google Cloud kullanımınız zaman içinde artarsa kotalarınız artabilir. Test kotanıza ulaşırsanız ertesi güne kadar bekleyin veya Spark planını kullanıyorsanız Blaze planına geçin.
Halihazırda Blaze planını kullanıyorsanız kota artışı isteğinde bulunabilirsiniz.
Daha fazla bilgi için Kotayı test etme başlıklı makaleyi inceleyin.
Cloud Testing API'nin iki kota sınırı vardır: proje başına günlük istek sayısı ve proje başına her 100 saniyede istek sayısı. Kullanımınızı Google Cloud konsolunda izleyebilirsiniz.
Cloud Tool Results API kotası
Cloud Tool Results API'nin iki kota sınırı vardır: proje başına günlük sorgu sayısı ve proje başına her 100 saniyede sorgu sayısı. Kullanımınızı Google Cloud konsolunda izleyebilirsiniz.
API sınırları hakkında daha fazla bilgi için Test Lab için Cloud API kotaları başlıklı makaleyi inceleyin. API kotasına ulaştıysanız:
Doğrudan Google Cloud konsolunda kotalarınızı düzenleyerek daha yüksek kotalar için istek gönderin (çoğu sınırın varsayılan olarak maksimuma ayarlandığını unutmayın) veya
Google Cloud konsolunda bir istek formu doldurarak veya Firebase Destek Ekibi ile iletişime geçerek daha yüksek API kotaları isteyin.
Arka ucuma ulaşan trafiğin Test Lab'ten gelip gelmediğini nasıl öğrenebilirim?
Arka uçtan, kaynak IP adresini IP aralığımızla karşılaştırarak trafiğin Firebase tarafından barındırılan test cihazlarından gelip gelmediğini belirleyebilirsiniz.
Test Lab, VPC-SC ile çalışır mı?
Test Lab, VPC-SC ile çalışmaz. Bu durum, uygulamaların ve diğer test yapılarının Test Lab'ın dahili depolama alanı ile kullanıcıların sonuç grupları arasında kopyalanmasını engeller.
Test Lab'te kararsız testleri nasıl tespit edebilirim?
Testlerinizde kararsız davranışları tespit etmek için
--num-flaky-test-attempts
seçeneğini kullanmanızı öneririz. Deflake yeniden çalıştırmaları, normal test çalıştırmalarıyla aynı şekilde faturalandırılır veya günlük kotanıza dahil edilir.
Şunları unutmayın:
Hata tespit edildiğinde testin tamamı tekrar çalıştırılır. Yalnızca başarısız test durumlarının yeniden denenmesi desteklenmez.
Deflake yeniden deneme çalıştırmalarının aynı anda çalıştırılması planlanır ancak paralel olarak çalıştırılmaları (ör. trafik mevcut cihaz sayısını aştığında) garanti edilmez.
Test Lab, Appium, Flutter/FlutterDriver, ReactNative/Jest veya Cucumber'u destekliyor mu?
Bu öğelerden bazıları yol haritamızda yer alsa da şu anda bu test ve uygulama geliştirme platformlarını destekleme konusunda taahhütte bulunamıyoruz.
Çözünürlük gibi cihaz ayrıntılarını nerede bulabilirim?
Ayrıntılı cihaz bilgileri API üzerinden kullanılabilir ve describe komutu kullanılarak gcloud istemcinden erişilebilir:
gcloud firebase test ios models describe MODEL
iOS testlerinde parçalama kullanabilir miyim?
Bölme, iOS için Test Lab'te doğal olarak desteklenmez. Ancak iOS test durumlarını bölme işlemi için Flank istemcisini kullanabilirsiniz.
Bu işlem, .xctestrun dosyasında OnlyTestIdentifiers anahtarını ve değerlerini ayarlayarak çalışır.
Daha fazla bilgi için xcodebuild.xctestrun ile ilgili man sayfasına bakın.
Bilinen sorunlar
Oturum açma captcha'ları
Robo test, oturum açmak için kimlik bilgilerinin girilmesinin yanı sıra ek kullanıcı işlemi (ör. CAPTCHA'yı tamamlama) gerektiren oturum açma ekranlarını atlayamaz.
Kullanıcı arayüzü çerçevesi desteği
Robo test, Android kullanıcı arayüzü çerçevesindeki kullanıcı arayüzü öğelerini (View, ViewGroup ve WebView nesneleri dahil) kullanan uygulamalarda en iyi performansı gösterir. Unity oyun motorunu kullanan uygulamalar da dahil olmak üzere diğer kullanıcı arayüzü çerçevelerini kullanan uygulamaları test etmek için Robo test'i kullanırsanız test, ilk ekranın ötesine geçmeden çıkabilir.
