Fehlerbehebung in Test Lab & Häufig gestellte Fragen

Warum dauert es so lange, bis mein Test ausgeführt wird?

Wenn Sie ein Gerät mit hoher Kapazität im Test Lab-Katalog auswählen, können Tests schneller gestartet werden. Wenn ein Gerät eine geringe Kapazität hat, kann es länger dauern, bis Tests ausgeführt werden. Wenn die Anzahl der aufgerufenen Tests viel größer ist als die Kapazität der ausgewählten Geräte, kann es länger dauern, bis die Tests abgeschlossen sind.

Tests, die auf Geräten mit einer beliebigen Kapazitätsstufe ausgeführt werden, können aus folgenden Gründen länger dauern:

• Traffic, der sich auf die Geräteverfügbarkeit und die Testgeschwindigkeit auswirkt.
• Geräte- oder Infrastrukturfehler, die jederzeit auftreten können. Ob es eine gemeldete Infrastruktur für Test Lab gibt, können Sie im Firebase-Status-Dashboard nachsehen.

Weitere Informationen zur Gerätekapazität in Test Lab finden Sie unter Gerätekapazität für Android und iOS.

Warum erhalte ich nicht schlüssige Testergebnisse?

Nicht eindeutige Testergebnisse sind in der Regel auf abgebrochene Testläufe oder Infrastrukturfehler zurückzuführen.

Infrastrukturfehler werden durch interne Test Lab-Probleme verursacht, z. B. Netzwerkfehler oder unerwartetes Geräteverhalten. Test Lab beendet intern Testläufe, die mehrmals Infrastrukturfehler verursachen, bevor ein nicht eindeutiges Ergebnis gemeldet wird. Sie können diese Wiederholungsversuche jedoch mit failFast deaktivieren.

So ermitteln Sie die Ursache des Fehlers:

1. Prüfen Sie im Firebase-Status-Dashboard, ob bekannte Ausfälle vorliegen.

2. Wiederholen Sie den Test in Test Lab, um zu prüfen, ob er reproduzierbar ist.

3. Führen Sie den Test gegebenenfalls auf einem anderen Gerät oder Gerätetyp aus.

Sollte das Problem weiterhin auftreten, wenden Sie sich an das Test Lab-Team im #test-lab-Kanal auf Firebase Slack.

Warum dauern meine Tests durch Sharding länger?

Die Fragmentierung kann dazu führen, dass Ihre Tests länger dauern, wenn die von Ihnen angegebene Anzahl von Shards die Anzahl der Geräte übersteigt, die in Test Lab verfügbar sind. Um dies zu vermeiden, kannst du versuchen, auf ein anderes Gerät zu wechseln. Weitere Informationen zur Auswahl eines anderen Geräts finden Sie unter Gerätekapazität:

Warum dauert es so lange, bis mein Test beginnt?

Wenn Sie eine Testanfrage senden, wird Ihre App zuerst validiert, neu signiert usw., um sie für Tests auf einem Gerät vorzubereiten. Normalerweise dauert dieser Vorgang nur wenige Sekunden, kann aber durch Faktoren wie die Größe Ihrer App beeinflusst werden.

Nachdem Ihre App vorbereitet wurde, werden Testläufe geplant und in eine Warteschlange gestellt, bis ein Gerät für die Ausführung bereit ist. Bis alle Testläufe abgeschlossen sind, lautet der Status der Matrix „Ausstehend“ (unabhängig davon, ob sich Testläufe in der Warteschlange befinden oder aktiv ausgeführt werden).

Warum dauert es so lange, bis mein Test abgeschlossen ist?

Nach Abschluss der Testausführung werden Testartefakte vom Gerät heruntergeladen, verarbeitet und in Cloud Storage hochgeladen. Die Dauer dieses Schritts kann von der Anzahl und Größe der Artefakte abhängen.

Welche kostenlosen Kontingente gibt es für Test Lab? Was soll ich tun, wenn meine Lizenzen aufgebraucht sind?

Firebase Test Lab bietet kostenlose Kontingente für Tests auf Geräten und für die Verwendung von Cloud-APIs. Das Testkontingent unterliegt dem Standard-Firebase-Abo, die Cloud API-Kontingente jedoch nicht.

• Testkontingent

  Testkontingente werden durch die Anzahl der Geräte bestimmt, die zum Ausführen von Tests verwendet werden. Der Firebase Spark-Tarif umfasst ein festes Testkontingent, das für Nutzer kostenlos ist. Bei einer intensiveren Nutzung von Google Cloud können Ihre Kontingente entsprechend erhöht werden. Wenn Sie Ihr Testkontingent erreicht haben, warten Sie bis zum nächsten Tag oder führen Sie ein Upgrade auf den Blaze-Tarif durch, wenn Sie derzeit den Spark-Tarif nutzen. Wenn Sie bereits das Blaze-Abo nutzen, können Sie eine Kontingenterhöhung anfordern. Weitere Informationen finden Sie unter Testkontingent.

  Sie können Ihre Testkontingentnutzung in der Google Cloud-Konsole überwachen.

• Kontingente für die Cloud Testing API

  Für die Cloud Testing API gelten zwei Kontingentlimits: Anfragen pro Tag und Projekt sowie Anfragen pro 100 Sekunden und Projekt. Sie können Ihre Nutzung in der Google Cloud-Konsole überwachen.

• Kontingente für die Cloud Tool Results API

  Für die Cloud Tool Results API gelten zwei Kontingentlimits: Abfragen pro Tag und Projekt sowie Abfragen pro 100 Sekunden und Projekt. Sie können Ihre Nutzung in der Google Cloud-Konsole überwachen.

  Weitere Informationen zu API-Limits finden Sie unter Cloud API-Kontingente für Test Lab. Wenn Sie ein API-Kontingent erreicht haben:

  • Sie können eine Anfrage für höhere Kontingente senden, indem Sie Ihre Kontingente direkt in der Google Cloud-Konsole bearbeiten. Die meisten Limits sind standardmäßig auf das Maximum festgelegt.

  • Wenn Sie ein höheres API-Kontingent anfordern möchten, füllen Sie ein Antragsformular in der Google Cloud Console aus oder wenden Sie sich an den Firebase-Support.

Woher weiß ich, ob der Traffic, der mein Backend erreicht, von Test Lab stammt?

In Ihrem Backend können Sie anhand der Quell-IP-Adresse und unserer IP-Bereiche feststellen, ob der Traffic von Firebase-gehosteten Testgeräten stammt.

Funktioniert Test Lab mit VPC-SC?

Test Lab funktioniert nicht mit VPC-SC, wodurch das Kopieren von Apps und anderen Testartefakten zwischen dem internen Speicher von Test Lab und den Ergebnis-Buckets der Nutzer blockiert wird.

Wie erkenne ich instabile Tests in Test Lab?

Um instabiles Verhalten in Ihren Tests zu erkennen, empfehlen wir die Verwendung der Option --num-flaky-test-attempts . Deflake-Wiederholungen werden genauso abgerechnet oder auf Ihr tägliches Kontingent angerechnet wie normale Testausführungen.

Beachten Sie Folgendes:

• Die gesamte Testausführung wird wiederholt, wenn ein Fehler erkannt wird. Es gibt keine Unterstützung für das Wiederholen nur fehlgeschlagener Testläufe.
• Wiederholungsdurchläufe werden für die gleichzeitige Ausführung geplant, aber es wird nicht garantiert, dass sie parallel ausgeführt werden. Das kann z. B. passieren, wenn der Traffic die Anzahl der verfügbaren Geräte übersteigt.

Unterstützt Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest oder Cucumber?

Einige dieser Elemente sind zwar auf unserer Roadmap, aber wir können derzeit keine Zusicherung für die Unterstützung dieser Test- und App-Entwicklungsplattformen geben.

Wo finde ich Gerätedetails wie die Auflösung?

Detaillierte Geräteinformationen sind über die API verfügbar und können über den gcloud-Client mit dem Befehl „describe“ aufgerufen werden:

gcloud firebase test ios models describe MODEL

Kann ich Sharding mit iOS-Tests verwenden?

Sharding wird in Test Lab für iOS nicht nativ unterstützt. Sie können jedoch den Flank-Client verwenden, um iOS-Testläufe aufzuteilen.

Dazu werden der OnlyTestIdentifiers-Schlüssel und die Werte in der Datei .xctestrun festgelegt. Weitere Informationen finden Sie auf der man-Seite für xcodebuild.xctestrun.

Warum fehlen in den Ergebnissen meines iOS-Tests Videos?

Bei iOS 18 oder höher können wir keine Videos in den Ergebnissen unterstützen.

Anmelde-Captchas

Beim Robo-Test können Anmeldebildschirme nicht umgangen werden, die über die Eingabe von Anmeldedaten hinaus zusätzliche Nutzeraktionen erfordern, z. B. das Ausfüllen eines CAPTCHA.

Unterstützung für UI-Frameworks

Robo-Tests funktionieren am besten mit Apps, die UI-Elemente aus dem Android-UI-Framework verwenden, einschließlich View-, ViewGroup- und WebView-Objekten. Wenn Sie Robo-Tests für Apps verwenden, die andere UI-Frameworks nutzen, einschließlich Apps, die die Unity-Game-Engine verwenden, wird der Test möglicherweise beendet, ohne dass mehr als der erste Bildschirm untersucht wird.