L'agent de test d'application est un agent de génération, de gestion et d'exécution de scénarios de test, optimisé par Gemini dans Firebase. Vous définissez des objectifs de test en langage naturel, et l'agent utilise l'IA pour comprendre et naviguer dans votre application, simuler les interactions utilisateur et fournir des résultats de test détaillés.
Comment l'agent de test d'application utilise vos données
L'agent de test d'application est fourni par Gemini dans Firebase et est régi par les mêmes conditions. Pour en savoir plus sur la manière dont Gemini dans Firebase utilise vos données, consultez Comment Gemini dans Firebase utilise vos données.
Avant de commencer
Si ce n'est pas déjà fait, enregistrez votre application auprès de Firebase.
Si vous n'utilisez aucun autre produit Firebase, il vous suffit de créer un projet et d'enregistrer votre application. Vous n'avez pas besoin d'ajouter de SDK à votre application. Toutefois, si vous décidez d'utiliser des produits supplémentaires à l'avenir, veillez à suivre toutes les étapes de la section Ajouter Firebase à l'aide de la console Firebase.
Lorsque vous êtes prêt à distribuer une version préliminaire de votre application à des testeurs, compilez votre APK ou votre AAB à l'aide de votre processus habituel, puis importez-le dans App Distribution dans la console Firebase. Vous devez signer l'APK avec votre clé de débogage ou votre clé de signature d'application.
Créer un scénario de test
Pour exécuter des tests guidés par l'IA, l'agent de test d'application utilise vos cas de test en langage naturel pour exécuter des tests sur votre application.
Chaque scénario de test est divisé en étapes, qui seront exécutées dans l'ordre. Les étapes vous permettent de diviser votre scénario de test en phases, chacune avec ses propres critères de réussite. L'agent peut effectuer de nombreuses actions à chaque étape.
Pour créer un cas de test, ouvrez la page App Distribution de la console Firebase, puis procédez comme suit:
- Dans l'onglet Scénarios de test, cliquez sur Nouveau scénario de test. Si vous ne souhaitez pas créer votre propre cas de test, vous pouvez modifier ou utiliser l'exemple de cas de test fourni.
- Dans la boîte de dialogue Ajouter un scénario de test, attribuez un nom au scénario de test. Il permet d'identifier le test, mais est ignoré par l'agent.
- Pensez à diviser votre test en plusieurs étapes en cliquant sur le bouton Ajouter une étape.
- Attribuez à chaque étape un objectif qui décrit ce que l'agent de test d'application doit faire à cette étape.
- (Facultatif) Ajoutez une astuce pour fournir des informations supplémentaires afin d'aider l'agent de test d'application à comprendre et à parcourir votre application à cette étape.
- (Facultatif) Ajoutez des critères de réussite pour aider l'agent de test d'application à déterminer quand l'étape est terminée.
- Cliquez sur Enregistrer une fois que vous avez terminé de personnaliser votre test.
Exemple de scénario de test
Voici un exemple de création d'un scénario de test à l'aide de l'agent de test d'application:
Tester la page d'accueil | |
---|---|
Titre test |
Chargement de la page d'accueil |
Objectif |
Charger la page d'accueil |
Indice |
Passez les écrans d'accueil. Fermez les pop-ups. Ne vous connectez pas. |
Critères de réussite |
La page d'accueil principale de l'application est visible à l'écran, toutes les images ont été chargées et aucune erreur ne s'affiche. |
Exécuter un test
L'agent de test d'application vous permet d'exécuter des tests guidés par l'IA dans la console en cliquant sur le bouton Run tests (Exécuter les tests) sur la page "Releases" (Versions) ou "Test Cases" (Scénarios de test). L'écran de personnalisation de l'agent de test d'application s'ouvre. Vous pouvez y choisir un ou plusieurs de vos scénarios de test existants à exécuter par l'agent. Vous pouvez également choisir les appareils sur lesquels vous souhaitez effectuer les tests et indiquer si vous souhaitez fournir des identifiants de connexion.
Vous pouvez également choisir d'effectuer un test d'exploration aléatoire en modifiant le type de test. Les tests d'exploration aléatoires utilisent la fonctionnalité Testeur automatisé.
Vous pouvez consulter les résultats de vos tests sur la page Versions, dans l'onglet Agent de test d'application d'une version. Le bouton Afficher les détails ouvre la boîte de dialogue "Résultats du test" et affiche les problèmes, les captures d'écran de l'application et les actions effectuées par Gemini pendant le test.
Tester automatiquement vos builds
Pour exécuter automatiquement les tests de l'agent de test d'application sur vos nouveaux builds, par exemple à partir de pipelines CI/CD, vous pouvez distribuer vos builds à l'agent à l'aide des plug-ins Gradle ou Fastlane de App Distribution, ou de la CLI Firebase.
Déboguer les résultats de vos tests
Si les résultats de votre test sont différents de ce que vous attendiez, vous pouvez déboguer votre test à l'aide du bouton Afficher la vue de l'agent sous Afficher les détails sur la page "Résultats du test". La vue de l'agent affiche les éléments à l'écran que l'agent de test d'application a pu détecter en utilisant les informations d'accessibilité de l'application. Si vous souhaitez examiner de plus près ce que l'agent a vu, vous pouvez télécharger ces informations depuis le menu à développer des actions.
Vous pouvez également utiliser le bouton Afficher les artefacts sur la page "Résultats des tests" pour consulter toutes les vidéos, les journaux et les autres artefacts Cloud pour vos résultats de test.
Limites et problèmes connus
L'aperçu de l'agent de test d'application présente certaines limites connues:
- Étant donné que l'agent de test d'application utilise l'IA générative pour tester votre application, il effectue parfois des actions différentes tout en suivant les mêmes instructions.
- L'agent de test d'application n'est compatible qu'avec les actions suivantes: appuyer, saisir du texte, balayer l'écran vers le haut/le bas/la gauche/la droite et attendre.
- L'agent de test d'application a du mal à exécuter des tests ne comportant qu'une seule étape nécessitant de nombreuses actions. Il fonctionne mieux lorsque les tâches complexes sont divisées en plusieurs étapes plus courtes.
- L'agent de test d'application ne défile parfois pas pour afficher d'autres éléments en dehors de l'écran. Cela se produit plus souvent lorsqu'il n'y a aucune indication visuelle de la possibilité de faire défiler l'écran. Pour contourner ce problème, vous pouvez utiliser le champ "hints" pour suggérer le défilement.
- L'agent de test d'application a parfois du mal à effectuer un comptage, par exemple en effectuant une action un nombre spécifique de fois.
- L'agent de test d'application ne peut pas naviguer dans votre application si
FLAG_SECURE
est activé. Au lieu de voir des captures d'écran de votre application, il ne verra qu'un écran vide.
Quotas de test
Pendant la phase de preview, les tests guidés par l'IA seront proposés sans frais dans la limite d'un quota. La limite de quota par défaut est de 200 tests par mois.
Notez que si vous choisissez d'exécuter plusieurs scénarios de test ou le même scénario de test sur plusieurs appareils, cela compte comme plusieurs tests. Par exemple, si vous exécutez deux cas de test sur deux appareils, cela équivaut à un total de quatre tests.
Pour augmenter votre quota au-delà de la limite par défaut, contactez l'assistance Firebase en indiquant votre cas d'utilisation.