Risoluzione dei problemi di Test Lab e DOMANDE FREQUENTI

Perché il mio test richiede così tanto tempo per essere eseguito?

Quando selezioni un dispositivo con un livello di capacità elevato nel catalogo Test Lab, i test potrebbero iniziare più rapidamente. Quando un dispositivo ha una capacità ridotta, i test potrebbero richiedere più tempo. Se il numero di test richiamati è molto maggiore della capacità dei dispositivi selezionati, il completamento dei test può richiedere più tempo.

I test eseguiti su qualsiasi livello di capacità del dispositivo potrebbero richiedere più tempo a causa dei seguenti fattori:

• Traffico, che influisce sulla disponibilità dei dispositivi e sulla velocità del test.
• Guasti del dispositivo o dell'infrastruttura, che possono verificarsi in qualsiasi momento. Per verificare se è stata segnalata un'infrastruttura per Test Lab, consulta la dashboard dello stato di Firebase.

Per scoprire di più sulla capacità dei dispositivi in Test Lab, consulta le informazioni sulla capacità dei dispositivi per Android e iOS.

Perché ricevo risultati del test non validi?

I risultati inconcludenti dei test si verificano comunemente a causa di esecuzioni di test annullate o errori dell'infrastruttura.

Gli errori di infrastruttura sono causati da problemi interni di Test Lab, come errori di rete o comportamenti imprevisti dei dispositivi. Test Lab ritira internamente le esecuzioni di test che producono errori di infrastruttura più volte prima di segnalare un risultato non conclusivo; tuttavia, puoi disattivare questi tentativi utilizzando failFast.

Per determinare la causa dell'errore, segui questi passaggi:

1. Controlla se sono presenti interruzioni note nella dashboard dello stato di Firebase.

2. Ripeti il test in Test Lab per verificare che sia riproducibile.

3. Se applicabile, prova a eseguire il test su un altro dispositivo o tipo di dispositivo.

Se il problema persiste, contatta il team Test Lab nel canale#test-lab su Firebase Slack.

Perché lo sharding ha allungato i tempi di esecuzione dei miei test?

Lo sharding può allungare la durata dei test quando il numero di shard specificato supera il numero di dispositivi disponibili per l'utilizzo in Test Lab. Per evitare questa situazione, prova a passare a un altro dispositivo. Per ulteriori informazioni sulla scelta di un altro dispositivo, vedi Capacità del dispositivo.

Perché il mio test richiede molto tempo per iniziare?

Quando invii una richiesta di test, l'app viene prima convalidata, firmata nuovamente e così via in preparazione all'esecuzione dei test su un dispositivo. Normalmente, questa procedura viene completata in meno di pochi secondi, ma può essere influenzata da fattori come le dimensioni dell'app.

Una volta preparata l'app, le esecuzioni dei test vengono pianificate e rimangono in una coda finché un dispositivo non è pronto per eseguirle. Finché non vengono completate tutte le esecuzioni dei test, lo stato della matrice sarà "In attesa" (indipendentemente dal fatto che le esecuzioni dei test siano in coda o in esecuzione).

Perché il mio test richiede così tanto tempo per essere completato?

Al termine dell'esecuzione del test, gli artefatti di test vengono scaricati dal dispositivo, elaborati e caricati su Cloud Storage. La durata di questo passaggio può essere influenzata dalla quantità e dalle dimensioni degli artefatti.

Quali sono le quote senza costi per Test Lab? Cosa devo fare se le esaurisco?

Firebase Test Lab offre quote senza costi per i test sui dispositivi e per l'utilizzo delle API Cloud. Tieni presente che la quota di test utilizza il piano tariffario standard di Firebase, mentre le quote dell'API Cloud no.

• Quota di test

  Le quote di test sono determinate dal numero di dispositivi utilizzati per eseguire i test. Il piano Firebase Spark prevede una quota di test fissa senza costi per gli utenti. Per il piano Blaze, le tue quote potrebbero aumentare se il tuo utilizzo di Google Cloud aumenta nel tempo. Se raggiungi la quota di test, attendi il giorno successivo o esegui l'upgrade al piano Blaze se al momento utilizzi il piano Spark. Se hai già scelto il piano Blaze, puoi richiedere un aumento della quota. Per maggiori informazioni, vedi Quota di test.

  Puoi monitorare l'utilizzo della quota di test nella console Google Cloud.

• Quota API Cloud Testing

  L'API Cloud Testing prevede due limiti di quota: richieste al giorno per progetto e richieste ogni 100 secondi per progetto. Puoi monitorare l'utilizzo nella console Google Cloud.

• Quota dell'API Cloud Tool Results

  L'API Cloud Tool Results prevede due limiti di quota: query al giorno per progetto e query ogni 100 secondi per progetto. Puoi monitorare l'utilizzo nella console Google Cloud.

  Per ulteriori informazioni sui limiti delle API, consulta la pagina Quote delle API Cloud per Test Lab. Se hai raggiunto una quota API:

  • Invia una richiesta per quote più elevate modificando le quote direttamente nella console Google Cloud (tieni presente che la maggior parte dei limiti è impostata sul valore massimo per impostazione predefinita) oppure

  • Richiedi quote API più elevate compilando un modulo di richiesta nella console Google Cloud o contattando l'assistenza Firebase.

Come faccio a sapere se il traffico che raggiunge il mio backend proviene da Test Lab?

Dal backend, puoi determinare se il traffico proviene da dispositivi di test ospitati da Firebase controllando l'indirizzo IP di origine rispetto ai nostri intervalli IP.

Test Lab funziona con VPC-SC?

Test Lab non funziona con VPC-SC, che blocca la copia di app e altri artefatti di test tra lo spazio di archiviazione interno di Test Lab e i bucket dei risultati degli utenti.

Come faccio a rilevare i test instabili in Test Lab?

Per rilevare un comportamento instabile nei test, ti consigliamo di utilizzare l'opzione --num-flaky-test-attempts . Le ripetizioni di deflake vengono fatturate o conteggiate nella quota giornaliera come le esecuzioni dei test normali.

Tieni presente che:

• L'intera esecuzione del test viene eseguita di nuovo quando viene rilevato un errore. Non è previsto il supporto per il nuovo tentativo solo dei casi di test non riusciti.
• Le esecuzioni di nuovi tentativi di deflake sono pianificate per essere eseguite contemporaneamente, ma non è garantito che vengano eseguite in parallelo, ad esempio quando il traffico supera il numero di dispositivi disponibili.

Test Lab supporta Appium, Flutter/FlutterDriver, ReactNative/Jest o Cucumber?

Sebbene alcuni di questi elementi siano nella nostra roadmap, al momento non possiamo impegnarci a supportare queste piattaforme di test e sviluppo di app.

Dove posso trovare i dettagli del dispositivo, come la risoluzione e così via?

Informazioni dettagliate sul dispositivo sono disponibili tramite l'API e sono accessibili dal client gcloud utilizzando il comando describe:

gcloud firebase test ios models describe MODEL

Posso utilizzare lo sharding con i test iOS?

Lo sharding non è supportato in modo nativo in Test Lab per iOS. Tuttavia, puoi utilizzare il client Flank per suddividere gli scenari di test iOS.

Per farlo, imposta la chiave e i valori OnlyTestIdentifiers nel file .xctestrun. Per ulteriori dettagli, consulta la pagina man per xcodebuild.xctestrun.

Perché nel mio test iOS mancano video nei risultati?

Per iOS 18 o versioni successive, non siamo in grado di supportare i video nei risultati.

Captcha di accesso

Il test Robo non può bypassare le schermate di accesso che richiedono un'azione aggiuntiva dell'utente oltre all'inserimento delle credenziali per accedere, ad esempio, il completamento di un CAPTCHA.

Supporto del framework UI

Il test Robo funziona meglio con le app che utilizzano elementi UI del framework UI di Android (inclusi gli oggetti View, ViewGroup e WebView). Se utilizzi il test Robo per testare app che utilizzano altri framework UI, incluse le app che utilizzano il motore di gioco Unity, il test potrebbe terminare senza esplorare oltre la prima schermata.