Agent testowania aplikacji (Android)

Agent testowania aplikacji to agent generowania, zarządzania i wykonywania przypadków testowych oparty na Gemini w Firebase. Cele testów określasz w języku naturalnym, a agent wykorzystuje AI, aby zrozumieć Twoją aplikację i się po niej poruszać, symulować interakcje użytkowników i dostarczać szczegółowe wyniki testów.

Jak agent testowania aplikacji wykorzystuje Twoje dane

Agent do testowania aplikacji jest udostępniany przez Gemini w Firebase i podlega tym samym warunkom. Więcej informacji o tym, jak Gemini w Firebase wykorzystuje Twoje dane, znajdziesz w artykule Jak Gemini w Firebase korzysta z Twoich danych.

Zanim zaczniesz

Jeśli nie jest jeszcze zarejestrowana, zarejestruj aplikację w Firebase.

Jeśli nie korzystasz z innych usług Firebase, musisz tylko utworzyć projekt i zarejestrować aplikację. Nie musisz dodawać do niej żadnych pakietów SDK. Jeśli jednak w przyszłości zdecydujesz się używać dodatkowych usług, wykonaj wszystkie czynności opisane w artykule Dodawanie Firebase za pomocą Firebasekonsoli.

Gdy zechcesz udostępnić testerom wersję przedpremierową aplikacji, utwórz plik APK lub AAB w zwykły sposób i prześlij go do usługi App Distribution w Firebase konsoli. Plik APK musi być podpisany kluczem debugowania lub kluczem podpisywania aplikacji.

Tworzenie przypadku testowego

Aby przeprowadzać testy oparte na AI, agent testowania aplikacji używa przypadków testowych w języku naturalnym do wykonywania testów aplikacji.

Każdy przypadek testowy jest podzielony na kroki, które będą wykonywane po kolei. Kroki umożliwiają podzielenie przypadku testowego na fazy, z których każda ma własne kryteria sukcesu. Podczas jednego kroku agent może wykonać wiele działań.

Aby utworzyć przypadek testowy, otwórz stronę App DistributionFirebasekonsoli i wykonaj te czynności:

  1. Na karcie Test Cases (Przypadki testowe) kliknij New test case (Nowy przypadek testowy). Jeśli nie chcesz tworzyć własnego przypadku testowego, możesz zmodyfikować lub użyć podanego przykładowego przypadku testowego.
  2. W oknie Dodaj element testowania nadaj elementowi testowania nazwę. Służy do identyfikacji testu, ale jest ignorowany przez agenta.
  3. Rozważ podzielenie testu na kilka kroków, klikając przycisk Dodaj kolejny krok.
  4. Każdemu krokowi przypisz cel, który opisuje, co agent testujący aplikację powinien zrobić na tym etapie.
  5. (Opcjonalnie) Dodaj wskazówkę, aby przekazać dodatkowe informacje, które pomogą testerowi aplikacji zrozumieć i obsługiwać aplikację na tym etapie.
  6. (Opcjonalnie) Dodaj kryteria sukcesu, aby pomóc testerowi aplikacji określić, kiedy krok został wykonany.
  7. Gdy skończysz dostosowywać test, kliknij Zapisz.

Przykładowy element testowania

Poniżej znajdziesz przykład tworzenia przypadku testowego za pomocą agenta testowania aplikacji:

Testowanie strony głównej
Tytuł testowy

Wczytywanie strony głównej

Cel

Wczytywanie strony głównej

Podpowiedź

Przejdź przez ekrany wprowadzające. Zamknij wszystkie wyskakujące okienka. Nie loguj się.

Kryteria sukcesu

Główna strona aplikacji jest widoczna na ekranie, wszystkie obrazy są załadowane i nie wyświetlają się żadne błędy.

Uruchom test

Agent testowania aplikacji umożliwia przeprowadzanie w konsoli testów opartych na AI. Wystarczy kliknąć przycisk Uruchom testy na stronie wersji lub przypadków testowych. Otworzy się ekran dostosowywania agenta testowania aplikacji, na którym możesz wybrać co najmniej 1 z dotychczasowych przypadków testowych do wykonania przez agenta. Możesz też wybrać urządzenia, na których chcesz przeprowadzić testy, oraz określić, czy chcesz podać dane logowania.

Możesz też przeprowadzić test losowego indeksowania, zmieniając typ testu. Testy losowego indeksowania korzystają z funkcji Automated Tester.

Wyniki testów możesz wyświetlić na stronie Wersje na karcie Agent testowania aplikacji w przypadku danej wersji. Przycisk Wyświetl szczegóły otworzy okno dialogowe Wyniki testu, w którym zobaczysz problemy, zrzuty ekranu aplikacji i działania, które Gemini wykonał podczas testu.

Automatyczne testowanie kompilacji

Aby automatycznie uruchamiać testy agenta Testowania aplikacji na nowych kompilacjach, np. z potoków CI/CD, możesz rozpowszechniać kompilacje wśród agentów za pomocą wtyczek Gradle lub fastlane App Distribution albo interfejsu wiersza poleceń Firebase.

Debugowanie wyników testu

Jeśli wyniki testu różnią się od oczekiwanych, możesz debugować test, korzystając z przełącznika Pokaż widok agenta w sekcji Wyświetl szczegóły na stronie Wyniki testu. Widok agenta pokazuje elementy na ekranie, które agent testujący aplikację wykrył, korzystając z informacji o ułatwieniach dostępu w aplikacji. Jeśli chcesz dokładniej przyjrzeć się temu, co widział agent, możesz pobrać te informacje z menu działań.

Możesz też kliknąć przycisk Wyświetl artefakty na stronie Wyniki testu, aby wyświetlić wszystkie filmy, logi i inne artefakty w Cloud związane z wynikami testu.

Znane problemy i ograniczenia

Wersja podglądowa agenta do testowania aplikacji ma pewne znane ograniczenia:

  • Agent testowania aplikacji używa generatywnej AI do testowania aplikacji, dlatego czasami wykonuje różne działania, ale nadal postępuje zgodnie z tymi samymi instrukcjami.
  • Agent testowania aplikacji obsługuje tylko te działania: kliknięcie, wpisanie tekstu, przesunięcie w górę/dół/lewo/prawo i oczekiwanie.
  • Agent testowania aplikacji ma problemy z przeprowadzaniem testów zawierających tylko jeden krok, który wymaga wykonania wielu działań. Działa lepiej, gdy złożone zadania są podzielone na kilka krótszych etapów.
  • Agent testowania aplikacji czasami nie przewija ekranu, aby wyświetlić inne elementy. Dzieje się tak częściej, gdy nie ma wizualnego wskaźnika możliwości przewijania. Aby obejść ten problem, możesz użyć pola „hints” (wskazówki) do sugerowania przewijania.
  • Agent testowania aplikacji ma czasem problemy z liczeniem, np. z wykonaniem działania określoną liczbę razy.
  • Agent testowania aplikacji nie może poruszać się po aplikacji, jeśli włączona jest funkcja FLAG_SECURE. Zamiast zrzutów ekranu aplikacji zobaczy tylko pusty ekran.

Limity testowania

W wersji przedpremierowej testy oparte na AI będą oferowane bezpłatnie w ramach limitu. Domyślny limit to 200 testów miesięcznie na projekt Firebase.

Pamiętaj, że jeśli zdecydujesz się uruchomić kilka przypadków testowych lub ten sam przypadek testowy na kilku urządzeniach, będzie to traktowane jako kilka testów. Jeśli na przykład uruchomisz 2 przypadki testowe na 2 urządzeniach, będzie to łącznie 4 testy.

Aby zwiększyć limit powyżej wartości domyślnej, skontaktuj się z zespołem pomocy Firebase i opisz swój przypadek użycia.