Rozwiązywanie problemów z Laboratorium Najczęstsze pytania

iOS Android

Na tej stronie znajdziesz pomoc w rozwiązywaniu problemów i odpowiedzi na najczęstsze pytania Pytania dotyczące przeprowadzania testów z wykorzystaniem narzędzia Firebase Test Lab. Znane problemy są również udokumentowane. Jeśli nie możesz znaleźć tego, czego szukasz, lub potrzebujesz dodatkowej pomocy, dołącz do kanału #test-lab na Slacku Firebase lub skontaktuj się z zespołem pomocy Firebase.

Rozwiązywanie problemów

Dlaczego test trwa tak długo?

Gdy wybierzesz urządzenie z dużą pojemnością, Test Lab testy mogą rozpocząć się szybciej. Jeśli urządzenie ma małą pojemność, testy mogą potrwać dłużej. Jeśli liczba Liczba wywołanych testów jest znacznie większa niż pojemność wybranych urządzeń, może potrwać dłużej.

Testy na dowolnym poziomie wydajności urządzenia mogą potrwać dłużej ze względu na: następujące czynniki:

• Ruch, który wpływa na dostępność urządzeń i szybkość testu.
• Awarie urządzeń lub infrastruktury, które mogą wystąpić w dowolnym momencie. Aby sprawdzić jeśli dla instancji Test Lab istnieje zgłoszona infrastruktura, zapoznaj się z Panel stanu Firebase.

Aby dowiedzieć się więcej o pojemności urządzeń w: Test Lab, zobacz pojemność urządzenia na Androida i iOS.

Dlaczego otrzymuję niejednoznaczne wyniki testu?

Niejednoznaczne wyniki testów występują zwykle z powodu anulowania uruchomień testów lub błędów infrastruktury.

Błędy infrastruktury są powodowane przez wewnętrzne problemy Test Lab, takie jak sieć lub nieoczekiwane działanie urządzeń. Test Lab wycofuje wewnętrznie uruchomienia testów które wielokrotnie powodują błędy infrastruktury przed zgłoszeniem niejednoznaczny wynik; możesz jednak wyłączyć ponowne próby, używając failFast.

Aby określić przyczynę błędu, wykonaj te czynności:

1. Sprawdź, czy w Panel stanu Firebase.

2. Ponów test w Test Lab, by sprawdzić, czy da się go odtworzyć.

   Uwaga: Test Lab nie pobiera opłat za błędy infrastruktury.

3. W razie potrzeby spróbuj przeprowadzić test na innym urządzeniu lub urządzeniu.

Jeśli problem będzie się powtarzał, skontaktuj się z zespołem Test Lab na kanał#test-lab jest włączony Slack Firebase.

Dlaczego po podzieleniu na fragmenty testy trwały dłużej?

Fragmentacja może wydłużyć czas wykonywania testów, jeśli podana liczba fragmentów przekracza liczbę urządzeń dostępnych do użycia w Test Lab. Do uniknąć takiej sytuacji, spróbuj zmienić urządzenie. Więcej informacji na temat konfiguracji na temat wyboru innego urządzenia, zobacz Pojemność urządzenia.

Dlaczego trwa to zbyt długo? do testów?

Gdy prześlesz prośbę o test, Twoja aplikacja zostanie najpierw zweryfikowana, ponownie podpisana itp. w ramach przygotowań do testów na urządzeniu. Proces ten kończy się zwykle w czasie krótszym niż kilka sekund, ale zależy od czynników takich jak rozmiar .

Gdy aplikacja jest gotowa, testy są planowane i pozostają w kolejce do momentu, aż urządzenie będzie gotowe do ich uruchomienia. Dopóki nie zakończą się wszystkie testy, macierz ma stan „Oczekująca”. (niezależnie od tego, czy uruchomienia testu w kolejce lub aktywnie uruchomionych).

Uwaga: czas oczekiwania na dostępne urządzenie nie jest brany pod uwagę w ramach czasu rozliczeniowego.

Dlaczego trwa to zbyt długo? aby ją dokończyć?

Po zakończeniu testu artefakty są pobierane z na urządzeniu, przetworzone i przesłane do Cloud Storage. Czas trwania tego kroku może liczbę i rozmiar artefaktów.

Najczęstsze pytania

Jakie są bezpłatne limity przez Test Lab? Co mam zrobić, jeśli skończy mi się miejsce?

Firebase Test Lab oferuje bezpłatne limity dotyczące testowania na urządzeniach i korzystania Cloud APIs. Limit testów jest zgodny ze standardowym abonamentem Firebase. w przeciwieństwie do limitów interfejsu Cloud API – nie.

• Limit testowania

  Limity testowania są określane na podstawie liczby urządzeń używanych do przeprowadzania testów. Abonament Firebase Spark ma stały limit testów, który jest bezpłatny dla użytkowników. W przypadku abonamentu Blaze limity mogą wzrosnąć, jeśli z czasem zwiększy się wykorzystanie Google Cloud. Po osiągnięciu limitu testowania poczekaj do dzień lub przejdź na abonament Blaze, jeśli korzystasz obecnie z abonamentu Spark. Jeśli masz już abonament Blaze, możesz poprosić o zwiększenie limitu. Więcej informacji: Limit testowania.

  Wykorzystanie limitu testowania możesz monitorować w konsoli Google Cloud.

• Limit Cloud Testing API

  Interfejs Cloud Testing API ma 2 limity: liczbę żądań dziennie projektu i żądań na 100 sekund na projekt. Możesz monitorować w zakresie Google Cloud.

• Limit interfejsu Cloud Tool Results API

  Interfejs Cloud Tool Results API ma 2 limity: liczbę zapytań dziennie projektu, a zapytania na 100 sekund na projekt. Możesz monitorować w zakresie Google Cloud.

  Zapoznaj się z limitami interfejsu Cloud API w domenie Test Lab. . Jeśli osiągnąłeś limit interfejsu API:

  • Prześlij prośbę o zwiększenie limitów do edytowanie limitów bezpośrednio w konsoli Google Cloud (zwróć uwagę, że większość limitów jest ustawiona na maksimum) lub

  • Aby poprosić o większe przydziały danych w interfejsie API, wypełnij formularz prośby w konsoli Google Cloud lub skontaktuj się z zespołem pomocy Firebase.

Jak mogę sprawdzić, czy ruch docierający do mojego backendu pochodzi z Test Lab?

Z poziomu backendu możesz sprawdzić, czy ruch pochodzi z serwerów Firebase testujemy urządzenia, sprawdzając źródłowy adres IP Zakresy adresów IP.

Czy Test Lab współpracuje z VPC-SC?

Test Lab nie działa z VPC-SC, co blokuje kopiowanie aplikacji i innych artefaktów testowych między wewnętrznym miejscem na dane Test Lab a zbiorami wyników użytkowników.

Jak wykrywać niestabilne testy w Test Lab?

Aby wykryć niestabilne działanie w testach, zalecamy użycie opcji --num-flaky-test-attempts opcji. Ponowne uruchomienia są rozliczane lub wliczane do limitu dziennego tak samo jak i normalnych wykonaniach testów.

Pamiętaj:

• Całe wykonanie testu jest uruchamiane ponownie po wykryciu błędu. Nie ma ponawianie tylko nieudanych przypadków testowych.
• Próby ponownego wykonania deflake są zaplanowane do wykonania w tym samym czasie, ale nie jest gwarantowane, że będą wykonywane równolegle, na przykład gdy ruch przekracza liczbę dostępnych urządzeń.

Uwaga: błędy infrastruktury są niezależne od funkcji deflake i nie uruchomić powtórki działania deflake.

Czy usługa Test Lab obsługuje Appium, Flutter/FlutterDriver, ReactNative/Jest czy Ogórek?

Chociaż niektóre z nich są w planach, obecnie nie możemy i zaangażuje się w obsługę tych platform testowania i tworzenia aplikacji.

Gdzie znajdę informacje o urządzeniu, takie jak rozdzielczość itp.?

Szczegółowe informacje o urządzeniu są dostępne poprzez interfejs API i dostępne. z klienta gcloud za pomocą polecenia describe polecenie:

gcloud firebase test ios models describe MODEL

Czy mogę używać podziału na części w przypadku testów na iOS?

Dzielenie na fragmenty nie jest obsługiwane w domyślnej konfiguracji usługi Test Lab na iOS. Możesz jednak: użyj klienta Flank, aby posegmentować przypadki testowe iOS.

Uwaga: użycie fragmentacji flankowej w systemie iOS tworzy osobne macierze testowe dla każdego fragmentu.

Aby to zrobić, ustaw klucz OnlyTestIdentifiers i odpowiednie wartości w pliku .xctestrun. Więcej informacji znajdziesz na stronie man dotyczącej xcodebuild.xctestrun.

Znane problemy

Captcha logowania

Test Robo nie może ominąć ekranów logowania, które wymagają dodatkowe działanie użytkownika (poza wpisaniem danych logowania potrzebnych do zalogowania się), na przykład wykonując zadanie CAPTCHA.

Obsługa platformy interfejsu

Test Robo działa najlepiej w przypadku aplikacji, które korzystają z elementów interfejsu użytkownika Androida. platforma (w tym View, ViewGroup i WebView) obiekty). Jeśli używasz testu Robo do ćwiczeń w aplikacjach, które korzystają z innego interfejsu na różnych platformach, w tym w aplikacjach korzystających z silnika gry Unity, test może zakończyć się bez poznawania świata poza pierwszym ekranem.