Agent testowania aplikacji (Android)

Agent testowania aplikacji to agent generowania, zarządzania i wykonywania przypadków testowych oparty na Gemini w Firebase. Cele testów określasz w języku naturalnym, a agent wykorzystuje AI do rozpoznawania i obsługi aplikacji, symulowania interakcji użytkowników oraz dostarczania szczegółowych wyników testów.

Jak agent testowania aplikacji wykorzystuje Twoje dane

Agent do testowania aplikacji jest udostępniany przez Gemini w Firebase i podlega tym samym warunkom. Więcej informacji o tym, jak Gemini w Firebase wykorzystuje Twoje dane, znajdziesz w artykule Jak Gemini w Firebase korzysta z Twoich danych.

Zanim zaczniesz

Jeśli nie zostało to jeszcze zrobione, zarejestruj aplikację w Firebase.

Jeśli nie korzystasz z innych usług Firebase, musisz tylko utworzyć projekt i zarejestrować aplikację. Nie musisz dodawać do niej żadnych pakietów SDK. Jeśli jednak w przyszłości zdecydujesz się używać dodatkowych usług, wykonaj wszystkie czynności opisane w artykule Dodawanie Firebase za pomocą Firebasekonsoli.

Gdy zechcesz udostępnić testerom wersję przedpremierową aplikacji, utwórz plik APK lub AAB w zwykły sposób i prześlij go do usługi App Distribution w Firebase konsoli. Musisz podpisać plik APK za pomocą klucza debugowania lub klucza podpisywania aplikacji.

Tworzenie przypadku testowego

Aby przeprowadzać testy oparte na AI, agent testowania aplikacji używa przypadków testowych w języku naturalnym do wykonywania testów aplikacji.

Każdy przypadek testowy jest podzielony na kroki, które będą wykonywane po kolei. Kroki umożliwiają podzielenie przypadku testowego na fazy, z których każda ma własne kryteria sukcesu. Podczas jednego kroku agent może wykonać wiele działań.

Aby utworzyć przypadek testowy, otwórz stronę App DistributionFirebase konsoli i wykonaj te czynności:

  1. Na karcie Test Cases (Przypadki testowe) kliknij New test case (Nowy przypadek testowy). Jeśli nie chcesz tworzyć własnego przypadku testowego, możesz zmodyfikować lub użyć podanego przykładowego przypadku testowego.
  2. W oknie Dodaj element testowania nadaj elementowi testowania nazwę. Służy do identyfikowania testu, ale jest ignorowany przez agenta.
  3. (Opcjonalnie) Wybierz przypadek testowy wymagany, który zawiera kroki konfiguracji do wykonania przed głównym testem. Jeśli test wstępny się nie powiedzie, cały test zostanie oznaczony jako niezaliczony. Kroki i wyniki testów wstępnych i głównych będą wyświetlane razem w wynikach testu.
  4. Rozważ podzielenie testu na kilka kroków, klikając przycisk Dodaj kolejny krok.
  5. Każdemu krokowi przypisz cel, który opisuje, co ma robić agent testujący aplikację.
  6. (Opcjonalnie) Dodaj wskazówkę, aby przekazać dodatkowe informacje, które pomogą testerowi aplikacji zrozumieć i obsługiwać aplikację na tym etapie.
  7. (Opcjonalnie) Dodaj kryteria sukcesu, aby pomóc agentowi testowania aplikacji określić, kiedy krok został pomyślnie wykonany.
  8. Gdy skończysz dostosowywać test, kliknij Zapisz.

Przykładowy element testowania

Poniżej znajdziesz przykład tworzenia przypadku testowego za pomocą agenta testowania aplikacji:

Testowanie strony głównej
Tytuł testowy

Wczytania strony głównej

Cel

Wczytywanie strony głównej

Podpowiedź

Przejdź przez ekrany wprowadzające. Zamknij wszystkie wyskakujące okienka. Nie loguj się.

Kryteria sukcesu

Główna strona aplikacji jest widoczna na ekranie, wszystkie obrazy są załadowane i nie wyświetlają się żadne błędy.

Uruchom test

Agent testowania aplikacji umożliwia przeprowadzanie w konsoli testów opartych na AI. Wystarczy kliknąć przycisk Uruchom testy na stronie wersji lub przypadków testowych. Otworzy się ekran dostosowywania agenta testowania aplikacji, na którym możesz wybrać co najmniej 1 z dotychczasowych przypadków testowych do wykonania przez agenta. Możesz też wybrać urządzenia, na których chcesz przeprowadzić testy, oraz określić, czy chcesz podać dane logowania.

Możesz też przeprowadzić test losowego indeksowania, zmieniając typ testu. Testy losowego indeksowania korzystają z funkcji Automated Tester.

Wyniki testów możesz wyświetlić na stronie Wersje na karcie Agent testowania aplikacji w wersji. Przycisk Wyświetl szczegóły otworzy okno dialogowe Wyniki testu, w którym zobaczysz problemy, zrzuty ekranu aplikacji i działania, które Gemini wykonał podczas testu.

Automatyczne testowanie kompilacji

Aby automatycznie uruchamiać testy agenta Testowania aplikacji na nowych kompilacjach, np. z potoków CI/CD, możesz rozpowszechniać kompilacje wśród agentów za pomocą wtyczek Gradle lub fastlane App Distribution albo interfejsu wiersza poleceń Firebase.

Debugowanie wyników testu

Jeśli wyniki testu różnią się od oczekiwanych, możesz debugować test, korzystając z przełącznika Pokaż widok agenta w sekcji Wyświetl szczegóły na stronie Wyniki testu. Widok agenta pokazuje elementy na ekranie, które agent testujący aplikację wykrył przy użyciu informacji o ułatwieniach dostępu w aplikacji. Jeśli chcesz dokładniej przyjrzeć się temu, co widział agent, możesz pobrać te informacje z menu działań.

Możesz też kliknąć przycisk Wyświetl artefakty na stronie Wyniki testu, aby zobaczyć wszystkie filmy, logi i inne artefakty w Cloud związane z wynikami testu.

Znane problemy i ograniczenia

Wersja podglądowa agenta testowania aplikacji ma pewne znane ograniczenia:

  • Agent testowania aplikacji używa generatywnej AI do testowania aplikacji, więc czasami podejmuje różne działania, ale nadal postępuje zgodnie z tymi samymi instrukcjami.
  • Agent testowania aplikacji obsługuje tylko te działania: kliknięcie, wpisanie tekstu, przesunięcie w górę/dół/lewo/prawo, długie naciśnięcie, przeciągnięcie i upuszczenie, powrót i oczekiwanie.
  • Agent testowania aplikacji ma problemy z przeprowadzaniem testów zawierających tylko jeden krok, który wymaga wykonania wielu działań. Działa lepiej, gdy złożone zadania są podzielone na kilka krótszych etapów.
  • Agent testowania aplikacji czasami nie przewija ekranu, aby wyświetlić inne elementy. Dzieje się tak częściej, gdy nie ma wizualnego wskaźnika możliwości przewijania. Aby obejść ten problem, możesz użyć pola „hints” (wskazówki) do sugerowania przewijania.
  • Agent testowania aplikacji ma czasem problemy z liczeniem, np. z wykonaniem działania określoną liczbę razy.
  • Agent testowania aplikacji nie może poruszać się po aplikacji, jeśli włączona jest funkcja FLAG_SECURE. Zamiast zrzutów ekranu aplikacji zobaczy tylko pusty ekran.

Limity testowania

W okresie testowym testy oparte na AI będą oferowane bezpłatnie w ramach limitu przydziału. Domyślny limit to 200 testów miesięcznie na projekt Firebase.

Pamiętaj, że jeśli zdecydujesz się uruchomić kilka przypadków testowych lub ten sam przypadek testowy na kilku urządzeniach, będzie to traktowane jako kilka testów. Jeśli na przykład uruchomisz 2 przypadki testowe na 2 urządzeniach, będzie to łącznie 4 testy.

Aby zwiększyć limit powyżej wartości domyślnej, skontaktuj się z zespołem pomocy Firebase i podaj swój przypadek użycia.