L'agente di test delle app è un agente di generazione, gestione ed esecuzione di casi di test basato su Gemini in Firebase. Definisci gli obiettivi di test in linguaggio naturale e l'agente utilizza l'AI per comprendere e navigare nella tua app, simulare le interazioni degli utenti e fornire risultati di test dettagliati.
In che modo l'agente di test delle app utilizza i tuoi dati
L'Agente di test delle app è fornito da Gemini in Firebase ed è regolato dagli stessi termini. Per ulteriori informazioni su come Gemini in Firebase utilizza i tuoi dati, consulta In che modo Gemini in Firebase utilizza i tuoi dati.
Prima di iniziare
Se non l'hai già fatto, registra la tua app con Firebase.
Se non utilizzi altri prodotti Firebase, devi solo creare un progetto e registrare la tua app. Non devi aggiungere alcun SDK alla tua app. Tuttavia, se decidi di utilizzare altri prodotti in futuro, assicurati di completare tutti i passaggi descritti in Aggiungere Firebase utilizzando la consoleFirebase.
Quando è tutto pronto per distribuire una versione pre-release dell'app ai tester, compila l'APK o l'AAB utilizzando la procedura normale e caricalo in App Distribution nella console Firebase. Devi firmare l'APK con la chiave di debug o la chiave di firma dell'app.
Creare uno scenario di test
Per eseguire test guidati dall'AI, l'Agente di test delle app utilizza i casi di test in linguaggio naturale per eseguire test sulla tua app.
Ogni caso di test è suddiviso in passaggi che verranno eseguiti in sequenza. I passaggi ti consentono di suddividere il test case in fasi, ognuna con i propri criteri di successo. L'agente può eseguire molte azioni durante un singolo passaggio.
Per creare un caso di test, apri la pagina App Distribution della console Firebase e segui questi passaggi:
- Nella scheda Test case, fai clic su Nuovo test case. Se non vuoi creare il tuo caso di test, puoi modificare o utilizzare il caso di test di esempio fornito.
- Nella finestra di dialogo Aggiungi scenario di test, assegna uno scenario di test. Viene utilizzato per identificare il test, ma viene ignorato dall'agente.
- Valuta la possibilità di suddividere il test in più passaggi facendo clic sul pulsante Aggiungi un altro passaggio.
- Assegna a ogni passaggio un scopo che descriva cosa deve fare l'agente di test dell'app durante quel passaggio.
- (Facoltativo) Aggiungi un suggerimento per fornire ulteriori informazioni che aiutino l'agente di test dell'app a comprendere e navigare nella tua app durante il passaggio.
- (Facoltativo) Aggiungi i Criteri di successo per aiutare l'agente di test dell'app a determinare quando il passaggio è stato completato correttamente.
- Al termine della personalizzazione del test, fai clic su Salva.
Scenario di test di esempio
Di seguito è riportato un esempio di come creare un caso di test utilizzando l'agente di test delle app:
| Test della home page | |
|---|---|
Titolo del test |
Caricamenti della home page |
Obiettivo |
Carica la home page |
Suggerimento |
Ignora le schermate di onboarding. Chiudi eventuali popup. Non accedere. |
Criteri di successo |
La home page dell'app principale è visibile sullo schermo, tutte le immagini sono state caricate e non vengono visualizzati errori. |
Esegui un test
L'agente di test delle app ti consente di eseguire test guidati dall'AI nella console facendo clic sul pulsante Esegui test nella pagina Uscite o Scenari di test. Si apre la schermata di personalizzazione dell'agente di test dell'app, in cui puoi scegliere uno o più casi di test esistenti da eseguire dall'agente. Puoi anche scegliere i dispositivi su cui eseguire il test e se fornire le credenziali di accesso.
Puoi anche scegliere di eseguire un test di scansione casuale modificando il tipo di test. I test di scansione casuale utilizzano la funzionalità Automated Tester.
Puoi visualizzare i risultati dei test dalla pagina Release nella scheda Agente di test dell'app di una release. Il pulsante Visualizza dettagli aprirà la finestra di dialogo Risultati test e mostrerà eventuali problemi, screenshot dell'app e le azioni intraprese da Gemini durante il test.
Testa automaticamente le build
Per eseguire automaticamente i test dell'agente di test delle app sulle nuove build, ad esempio dalle pipeline CI/CD, puoi distribuire le build all'agente utilizzando i plug-in Gradle o Fastlane di App Distribution o l'interfaccia a riga di comando di Firebase.
Testa automaticamente le build con l'interfaccia a riga di comando di Firebase
Per utilizzare la funzionalità Agente di test dell'app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili per il download nella pagina Test Cases della console Firebase. Per saperne di più su come iniziare a utilizzare l'interfaccia a riga di comando di Firebase e sui diversi modi per configurare la distribuzione, consulta Distribuire app per Android ai tester utilizzando l'interfaccia a riga di comando di Firebase.
Esegui il comando appdistribution:distribute per caricare l'app e utilizza i seguenti parametri per configurare la distribuzione alla funzionalità Agente di test delle app:
| appdistribution:distribute options | |
|---|---|
--test-devices o
--test-devices-file
|
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app. Puoi specificare i dispositivi di test come elenco separato da punto e virgola: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di dispositivi di test separati da due punti: --test-devices-file: "/path/to/test-devices.txt"
|
--test-username
|
Il nome utente per l'accesso automatico da utilizzare durante i test. |
--test-password o
--test-password-file
|
La password per l'accesso automatico da utilizzare durante i test. In alternativa, puoi specificare il percorso di un file di testo normale contenente una password: --test-password-file: "/path/to/test-password.txt"
|
--test-non-blocking
|
Esegui i test in modo asincrono. Per i risultati dei test automatici, visita la Console Firebase. |
--test-case-ids o
--test-case-ids-file
|
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA: --test-case-ids: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga: --test-case-ids-file: "/path/to/test-case-ids.txt"
|
Testa automaticamente le build con Gradle
Per utilizzare la funzionalità Agente di test dell'app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili per il download nella pagina Test Cases della console Firebase. Per saperne di più su come iniziare a utilizzare Gradle e sui diversi modi per configurare la distribuzione, consulta Distribuire le app Android ai tester utilizzando Gradle.
Puoi configurare App Distribution aggiungendo almeno una sezione firebaseAppDistribution e utilizzando i seguenti parametri per configurare la distribuzione alla funzionalità Agente di test delle app:
| App Distribution Parametri di compilazione | |
|---|---|
testDevices o
testDevicesFile
|
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app. Puoi specificare i dispositivi di test come elenco di specifiche del dispositivo separate da un punto e virgola testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
In alternativa, puoi specificare il percorso di un file contenente un elenco di specifiche del dispositivo separate da punto e virgola: testDevicesFile="/path/to/testDevices.txt"
|
testUsername
|
Il nome utente per l'accesso automatico da utilizzare durante i test. |
testPassword o
testPasswordFile
|
La password per l'accesso automatico da utilizzare durante i test. In alternativa, puoi specificare il percorso di un file di testo normale contenente una password: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking |
Esegui i test in modo asincrono. Visita la console di Firebase per visualizzare i risultati del test automatico. |
testCaseso
testCasesFile
|
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA: testCases: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga: testCasesFile: "/path/to/test-case-ids.txt"
|
Testa automaticamente le build con fastlane
Per utilizzare la funzionalità Agente di test dell'app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili per il download nella pagina Test Cases della console Firebase. Per ulteriori informazioni su come iniziare a utilizzare fastlane e sui diversi modi per configurare la distribuzione, consulta Distribuire app per Android ai tester utilizzando fastlane.
In una corsia ./fastlane/Fastfile, aggiungi un blocco firebase_app_distribution. Utilizza i seguenti parametri per configurare la distribuzione della funzionalità Agente di test delle app:
| Parametri firebase_app_distribution | |
|---|---|
test_devices o
test_devices_file
|
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app. Puoi specificare i dispositivi di test come elenco separato da punto e virgola: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di dispositivi di test separati da due punti: test_devices_file: "/path/to/test-devices.txt"
|
test_username
|
Il nome utente per l'accesso automatico da utilizzare durante i test. |
test_password o
test_password_file
|
La password per l'accesso automatico da utilizzare durante i test. In alternativa, puoi specificare il percorso di un file di testo normale contenente una password: test_password_file: "/path/to/test-password.txt"
|
test_non_blocking |
Esegui i test in modo asincrono. Per i risultati dei test automatici, visita la Console Firebase. |
--test_case_ids o
--test_case_ids_file
|
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA: --test_case_ids: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga: --test_case_ids_file: "/path/to/test-case-ids.txt"
|
Eseguire il debug dei risultati del test
Se i risultati del test sono diversi da quelli previsti, puoi eseguire il debug del test utilizzando l'opzione Mostra visualizzazione agente in Visualizza dettagli nella pagina Risultati test. La visualizzazione dell'agente mostra gli elementi sullo schermo che l'agente di test dell'app è riuscito a rilevare durante l'utilizzo delle informazioni sull'accessibilità dell'app. Se vuoi esaminare più da vicino ciò che ha visto l'agente, puoi scaricare queste informazioni dal menu overflow delle azioni.
Puoi anche utilizzare il pulsante Visualizza elementi nella pagina Risultati test per esaminare tutti i video, i log e gli altri elementi Cloud relativi ai risultati del test.
Problemi noti e limitazioni
L'anteprima dell'agente di test delle app presenta alcune limitazioni note:
- Poiché l'agente di test delle app utilizza l'IA generativa per testare la tua app, a volte intraprenderà azioni diverse pur seguendo le stesse istruzioni.
- L'agente di test delle app supporta solo le seguenti azioni: tocco, inserimento di testo, scorrimento verso l'alto/giù/sinistra/destra e attesa.
- L'agente di test delle app ha difficoltà a eseguire test contenenti un solo passaggio che richiede molte azioni per essere completato. Il rendimento è migliore quando le attività complesse vengono suddivise in più passaggi più brevi.
- A volte l'agente di test delle app non scorre per mostrare altri elementi al di fuori dello schermo. Questo accade più spesso quando non è presente alcuna indicazione visiva della scorrevolezza. Come soluzione alternativa, il campo "suggerimenti" può essere utilizzato per suggerire scorrimento.
- A volte l'agente di test dell'app ha difficoltà a contare, ad esempio eseguire un'azione un numero specifico di volte.
- L'agente di test delle app non può navigare nella tua app se è attivata la funzionalità
FLAG_SECURE. Invece di screenshot della tua app, vedrà solo una schermata vuota.
Quote di test
Durante l'anteprima, i test basati sull'IA verranno offerti senza costi aggiuntivi in base a un limite di quota. Il limite di quota predefinito è di 200 test al mese.
Tieni presente che se scegli di eseguire più casi di test o lo stesso caso di test su più dispositivi, vengono conteggiati come più test. Ad esempio, se esegui 2 casi di test su 2 dispositivi, il conteggio è pari a un totale di 4 test.
Per aumentare la quota oltre il limite predefinito, contatta l'assistenza Firebase fornendo il tuo caso d'uso.