Der App-Test-Agent ist ein Agent zur Generierung, Verwaltung und Ausführung von Testfällen, der in Firebase von Gemini unterstützt wird. Sie definieren Testziele in natürlicher Sprache und der Agent verwendet KI, um Ihre App zu verstehen und zu bedienen, Nutzerinteraktionen zu simulieren und detaillierte Testergebnisse bereitzustellen.
So verwendet der App-Test-Agent Ihre Daten
Der App-Test-Agent wird von Gemini in Firebase bereitgestellt und unterliegt denselben Nutzungsbedingungen. Weitere Informationen dazu, wie Gemini Ihre Daten in Firebase verwendet, finden Sie unter So verwendet Gemini in Firebase Ihre Daten.
Hinweis
Registrieren Sie Ihre App bei Firebase, falls noch nicht geschehen.
Wenn Sie keine anderen Firebase-Produkte verwenden, müssen Sie nur ein Projekt erstellen und Ihre App registrieren. Sie müssen Ihrer App keine SDKs hinzufügen. Wenn Sie jedoch in Zukunft zusätzliche Produkte verwenden möchten, müssen Sie alle Schritte unter Firebase über die Firebase Console hinzufügen ausführen.
Wenn Sie bereit sind, eine Vorabversion Ihrer App an Tester zu verteilen, erstellen Sie Ihr APK oder AAB wie gewohnt und laden Sie es in der Firebase Console in die App Distribution hoch. Sie müssen das APK mit Ihrem Debug-Schlüssel oder App-Signaturschlüssel signieren.
Testlauf erstellen
Für KI-gestützte Tests verwendet der App-Test-Agent Ihre Testfälle in natürlicher Sprache, um Tests für Ihre App auszuführen.
Jeder Testfall wird in Schritte unterteilt, die nacheinander ausgeführt werden. Mithilfe von Schritten können Sie Ihren Testfall in Phasen mit jeweils eigenen Erfolgskriterien unterteilen. Der Kundenservicemitarbeiter kann während eines Schritts viele Aktionen ausführen.
Wenn Sie einen Testfall erstellen möchten, öffnen Sie die Seite App Distribution der Firebase-Konsole und führen Sie die folgenden Schritte aus:
- Klicken Sie auf dem Tab Testfälle auf Neuer Testfall. Wenn Sie keinen eigenen Testfall erstellen möchten, können Sie den bereitgestellten Beispieltestfall ändern oder verwenden.
- Geben Sie im Dialogfeld Testfall hinzufügen einen Namen für den Testfall ein. Dieser Wert wird verwendet, um den Test zu identifizieren, wird aber vom Kundenservicemitarbeiter ignoriert.
- Sie können den Test in mehrere Schritte unterteilen, indem Sie auf die Schaltfläche Weitere Schritte hinzufügen klicken.
- Geben Sie jedem Schritt ein Ziel, das beschreibt, was der App-Test-Agent in diesem Schritt tun soll.
- Optional: Fügen Sie einen Hinweis hinzu, um dem App-Tester zusätzliche Informationen zu geben, damit er die Funktionsweise besser versteht und sich in Ihrer App zurechtfindet.
- Optional: Fügen Sie Erfolgskriterien hinzu, damit der App-Tester-Kundenservicemitarbeiter besser nachvollziehen kann, ob der Schritt erfolgreich abgeschlossen wurde.
- Klicken Sie auf Speichern, wenn Sie den Test fertig angepasst haben.
Beispiel für einen Testfall
Im folgenden Beispiel wird gezeigt, wie Sie mit dem App-Test-Agenten einen Testfall erstellen:
| Startseite testen | |
|---|---|
Testtitel |
Startseite wird geladen |
Ziel |
Startseite laden |
Hinweis |
Überspringe alle Onboarding-Bildschirme. Schließen Sie alle Pop-ups. Melden Sie sich nicht an. |
Erfolgskriterien |
Die Startseite der App ist auf dem Bildschirm zu sehen, alle Bilder wurden geladen und es werden keine Fehler angezeigt. |
Testen
Mit dem App Testing-Agent können Sie KI-gestützte Tests in der Console ausführen. Klicken Sie dazu auf der Seite „Releases“ oder „Testfälle“ auf die Schaltfläche Tests ausführen. Daraufhin wird der Bildschirm zur Anpassung des App-Test-Agenten geöffnet. Dort können Sie einen oder mehrere Ihrer vorhandenen Testfälle auswählen, die der Agent ausführen soll. Sie können auch auswählen, mit welchen Geräten der Test durchgeführt werden soll, und ob Anmeldedaten angegeben werden sollen.
Sie können auch einen Zufalls-Crawling-Test ausführen, indem Sie den Testtyp ändern. Für zufällige Crawling-Tests wird die Funktion Automatischer Tester verwendet.
Sie können die Ergebnisse Ihrer Tests auf der Seite Releases auf dem Tab App-Test-Agent eines Releases einsehen. Wenn Sie auf die Schaltfläche Details ansehen klicken, wird das Dialogfeld „Testergebnisse“ geöffnet. Dort sehen Sie alle Probleme, Screenshots der App und die Aktionen, die Gemini während des Tests ausgeführt hat.
Builds automatisch testen
Wenn Sie App Testing-Agent-Tests automatisch auf Ihren neuen Builds ausführen möchten, z. B. aus CI/CD-Pipelines, können Sie Ihre Builds mit den Gradle- oder Fastlane-Plug-ins von App Distribution oder der Firebase CLI an den Agenten verteilen.
Testergebnisse debuggen
Wenn die Testergebnisse nicht Ihren Erwartungen entsprechen, können Sie den Test mithilfe der Option Kundenservicemitarbeiter-Ansicht anzeigen unter Details ansehen auf der Seite „Testergebnisse“ debuggen. In der Kundenservicemitarbeiteransicht sehen Sie die Bildschirmelemente, die der Kundenservicemitarbeiter mithilfe der Informationen zur Barrierefreiheit der App erkennen konnte. Wenn Sie sich genauer ansehen möchten, was der Kundenservicemitarbeiter gesehen hat, können Sie diese Informationen über das Dreipunkt-Menü herunterladen.
Über die Schaltfläche Artefakte ansehen auf der Seite „Testergebnisse“ können Sie sich alle Videos, Protokolle und anderen Cloud-Artefakte für Ihre Testergebnisse ansehen.
Bekannte Probleme und Beschränkungen
Die Vorabversion des App-Test-Agenten weist einige bekannte Einschränkungen auf:
- Da der App-Test-Agent Ihre App mithilfe generativer KI testet, führt er manchmal andere Aktionen aus, auch wenn er derselben Anleitung folgt.
- Der App-Test-Agent unterstützt nur die folgenden Aktionen: Tippen, Text eingeben, nach oben und unten scrollen und warten.
- Der App-Test-Agent hat Probleme beim Ausführen von Tests, die nur einen einzelnen Schritt enthalten, der viele Aktionen erfordert. Die Leistung ist besser, wenn komplexe Aufgaben in mehrere kürzere Schritte unterteilt werden.
- Der App-Test-Agent scrollt manchmal nicht, um andere Elemente außerhalb des Bildschirms sichtbar zu machen. Das passiert häufiger, wenn es keine visuellen Hinweise auf die Scrollbarkeit gibt. Als Behelfslösung kann das Feld „hints“ verwendet werden, um das Scrollen vorzuschlagen.
- Der App-Test-Agent hat manchmal Probleme beim Zählen, z. B. bei der Ausführung einer Aktion eine bestimmte Anzahl von Malen.
Kontingente für Tests
Während der Vorabversion werden die KI-gestützten Tests innerhalb eines Kontingentlimits kostenlos angeboten. Das Standardkontingent beträgt 100 Tests pro Monat.
Wenn Sie mehrere Testfälle oder denselben Testfall auf mehreren Geräten ausführen, wird dies als mehrere Tests gezählt. Wenn Sie beispielsweise zwei Tests auf zwei Geräten ausführen, werden insgesamt vier Tests gezählt.
Wenn Sie Ihr Kontingent über das Standardlimit hinaus erhöhen möchten, wenden Sie sich mit Ihrem Anwendungsfall an den Firebase-Support.