L'agent de test d'application est un agent de génération, de gestion et d'exécution de scénarios de test optimisé par Gemini dans Firebase. Vous définissez des objectifs de test en langage naturel, et l'agent utilise l'IA pour comprendre votre application et y naviguer, simuler des interactions utilisateur et fournir des résultats de test détaillés.
Comment l'agent App Testing utilise vos données
L'agent de test d'application est fourni par Gemini dans Firebase et est soumis aux mêmes conditions. Pour en savoir plus sur la manière dont Gemini dans Firebase utilise vos données, consultez Comment Gemini dans Firebase utilise vos données.
Avant de commencer
Si vous ne l'avez pas déjà fait, enregistrez votre application auprès de Firebase.
Si vous n'utilisez aucun autre produit Firebase, il vous suffit de créer un projet et d'enregistrer votre application. Vous n'avez pas besoin d'ajouter de SDK à votre application. Toutefois, si vous décidez d'utiliser d'autres produits à l'avenir, veillez à suivre toutes les étapes de la section Ajouter Firebase à l'aide de la console Firebase.
Lorsque vous êtes prêt à distribuer une version préliminaire de votre application à des testeurs, compilez votre APK ou AAB en suivant votre procédure habituelle, puis importez-le dans App Distribution dans la console Firebase. Vous devez signer l'APK avec votre clé de débogage ou votre clé de signature d'application.
Créer un scénario de test
Pour exécuter des tests guidés par l'IA, l'agent de test d'application utilise vos scénarios de test en langage naturel pour exécuter des tests sur votre application.
Chaque scénario de test est divisé en étapes, qui seront exécutées dans l'ordre. Les étapes vous permettent de diviser votre scénario de test en phases, chacune ayant ses propres critères de réussite. L'agent peut effectuer de nombreuses actions à chaque étape.
Pour créer un cas de test, ouvrez la page App Distribution de la console Firebase et procédez comme suit :
- Dans l'onglet Scénarios de test, cliquez sur Nouveau scénario de test. Si vous ne souhaitez pas créer votre propre cas de test, vous pouvez modifier ou utiliser l'exemple de cas de test fourni.
- Dans la boîte de dialogue Ajouter un scénario de test, donnez un nom au scénario de test. Il permet d'identifier le test, mais est ignoré par l'agent.
- Envisagez de diviser votre test en plusieurs étapes en cliquant sur le bouton Ajouter une étape.
- Donnez à chaque étape un objectif qui décrit ce que l'agent de test d'application doit faire à cette étape.
- (Facultatif) Ajoutez un indice pour fournir des informations supplémentaires afin d'aider l'agent de test d'applis à comprendre votre application et à la parcourir lors de cette étape.
- (Facultatif) Ajoutez des critères de réussite pour aider l'agent de test d'applications à déterminer quand l'étape a été correctement effectuée.
- Cliquez sur Enregistrer une fois que vous avez terminé de personnaliser votre test.
Exemple de scénario de test
Voici un exemple de création d'un scénario de test à l'aide de l'agent App Testing :
Tester la page d'accueil | |
---|---|
Titre test |
Chargements de la page d'accueil |
Objectif |
Charger la page d'accueil |
Indice |
Passez les écrans d'accueil. Fermez les pop-ups. Ne vous connectez pas. |
Critères de réussite |
La page d'accueil principale de l'application est visible à l'écran, toutes les images sont chargées et aucune erreur ne s'affiche. |
Exécuter un test
L'agent App Testing vous permet d'exécuter des tests guidés par l'IA dans la console en cliquant sur le bouton Exécuter les tests depuis la page "Versions" ou "Scénarios de test". L'écran de personnalisation de l'agent App Testing s'ouvre. Vous pouvez y sélectionner un ou plusieurs de vos scénarios de test existants pour que l'agent les exécute. Vous pouvez également choisir les appareils sur lesquels vous souhaitez effectuer les tests et indiquer si vous souhaitez fournir des identifiants de connexion.
Vous pouvez également choisir d'exécuter un test d'exploration aléatoire en modifiant le type de test. Les tests d'exploration aléatoire utilisent la fonctionnalité Testeur automatisé.
Vous pouvez consulter les résultats de vos tests sur la page Releases, dans l'onglet Agent App Testing d'une release. Le bouton Afficher les détails ouvre la boîte de dialogue "Résultats du test", qui affiche les éventuels problèmes, les captures d'écran de l'application et les actions effectuées par Gemini lors du test.
Tester automatiquement vos compilations
Pour exécuter automatiquement des tests de l'agent App Testing sur vos nouvelles versions, par exemple à partir de pipelines CI/CD, vous pouvez distribuer vos versions à l'agent à l'aide des plug-ins Gradle ou fastlane de App Distribution, ou de la CLI Firebase.
Déboguer les résultats de vos tests
Si les résultats de vos tests sont différents de ce à quoi vous vous attendiez, vous pouvez les déboguer à l'aide du bouton Afficher la vue de l'agent sous Afficher les détails sur la page "Résultats des tests". La vue de l'agent vous montre les éléments à l'écran que l'agent App Testing a pu détecter en utilisant les informations d'accessibilité de l'application. Si vous souhaitez examiner de plus près ce que l'agent a vu, vous pouvez télécharger ces informations depuis le menu à développer.
Vous pouvez également utiliser le bouton Afficher les artefacts sur la page "Résultats des tests" pour consulter toutes les vidéos, tous les journaux et tous les autres artefacts Cloud associés aux résultats de vos tests.
Limites et problèmes connus
La version preview de l'agent de test d'application présente certaines limites connues :
- Étant donné que l'agent de test d'application utilise l'IA générative pour tester votre application, il effectuera parfois des actions différentes tout en suivant les mêmes instructions.
- L'agent de test d'application n'est compatible qu'avec les actions suivantes : appuyer, saisir du texte, balayer l'écran vers le haut/le bas/la gauche/la droite et attendre.
- L'agent de test d'application a du mal à exécuter les tests ne contenant qu'une seule étape nécessitant de nombreuses actions. Il est plus performant lorsque les tâches complexes sont divisées en plusieurs étapes plus courtes.
- L'agent de test d'application ne fait parfois pas défiler l'écran pour afficher d'autres éléments. Cela se produit plus souvent lorsqu'il n'y a aucune indication visuelle de la possibilité de faire défiler l'écran. Pour contourner ce problème, le champ "hints" peut être utilisé pour suggérer le défilement.
- L'agent de test d'applications a parfois du mal à compter, par exemple à effectuer une action un nombre spécifique de fois.
- L'agent App Testing ne peut pas parcourir votre application si l'option
FLAG_SECURE
est activée. Au lieu de voir des captures d'écran de votre application, il ne verra qu'un écran vide.
Tester les quotas
Pendant la phase bêta, les tests guidés par l'IA seront proposés sans frais dans la limite d'un quota. La limite de quota par défaut est de 200 tests par mois et par projet Firebase.
Notez que si vous choisissez d'exécuter plusieurs scénarios de test ou le même scénario de test sur plusieurs appareils, cela compte comme plusieurs tests. Par exemple, si vous exécutez deux cas de test sur deux appareils, cela compte comme quatre tests au total.
Pour augmenter votre quota au-delà de la limite par défaut, contactez l'assistance Firebase en expliquant votre cas d'utilisation.