Risoluzione dei problemi di Test Lab e DOMANDE FREQUENTI

Perché l'esecuzione del mio test richiede così tanto tempo?

Se nel catalogo Test Lab selezioni un dispositivo con un livello di capacità elevato, i test potrebbero iniziare più velocemente. Quando dispositivo ha una capacità ridotta, l'esecuzione dei test potrebbe richiedere più tempo. Se il numero i test richiamati è molto superiore alla capacità dei dispositivi selezionati, il completamento dell'operazione può richiedere più tempo.

I test eseguiti su qualsiasi livello di capacità del dispositivo potrebbero richiedere più tempo a causa dei seguenti fattori:

• Traffico, che influisce sulla disponibilità del dispositivo e sulla velocità del test.
• Guasti del dispositivo o dell'infrastruttura, che possono verificarsi in qualsiasi momento. Per verificare se è stata segnalata un'infrastruttura per Test Lab, consulta la dashboard dello stato di Firebase.

Per scoprire di più sulla capacità del dispositivo in Test Lab, consulta le informazioni sulla capacità del dispositivo per Android e iOS.

Perché ricevo risultati di test inconcludenti?

I risultati dei test inconcludenti di solito si verificano a causa di esecuzioni dei test annullate o errori dell'infrastruttura.

Gli errori di infrastruttura sono causati da problemi interni di Test Lab, ad esempio la rete errori o comportamenti imprevisti del dispositivo. Test Lab ritira internamente le esecuzioni di test che producono più volte errori di infrastruttura prima di segnalare risultati inconcludenti; ma puoi disabilitare questi nuovi tentativi utilizzando failFast.

Per determinare la causa dell'errore:

1. Verifica la presenza di interruzioni note nella Dashboard dello stato di Firebase.

2. Riprova a eseguire il test in Test Lab per verificare che sia riproducibile.

3. Prova a eseguire il test su un altro dispositivo o tipo di dispositivo, se applicabile.

Se il problema persiste, contatta il team di Test Lab nel Canale#test-lab attivo Firebase Slack.

Perché lo sharding ha eseguito i miei test più a lungo?

Lo sharding può comportare una durata maggiore dei test se il numero di shard che specificato supera il numero di dispositivi disponibili per l'uso in Test Lab. A evitare questa situazione, prova a passare a un altro dispositivo. Per ulteriori informazioni sulla scelta di un altro dispositivo, consulta Capacità dispositivo.

Perché la mia azienda richiede molto tempo prima del test?

Quando invii una richiesta di test, l'app viene prima convalidata, rifirmata e così via preparazione all'esecuzione di test su un dispositivo. Normalmente, questo processo viene completato in meno di pochi secondi, ma può dipendere da fattori come le dimensioni del dell'app.

Una volta preparata l'app, le esecuzioni dei test vengono programmate e rimangono in coda finché il dispositivo non è pronto a eseguirlo. Fino al termine di tutte le esecuzioni del test, lo stato della matrice sarà "In attesa" (indipendentemente dal fatto che le esecuzioni dei test siano in coda o in esecuzione).

Perché la mia azienda richiede molto tempo per completare il test?

Al termine dell'esecuzione del test, gli artefatti del test vengono scaricati dispositivo, elaborato e caricato su Cloud Storage. La durata di questo passaggio può essere influenzata dalla quantità e dalle dimensioni degli elementi.

Quali sono le quote senza costi per Test Lab? Cosa devo fare se finiscono?

Firebase Test Lab offre quote senza costi per i test sui dispositivi e l'utilizzo delle API Cloud. Tieni presente che la quota di test utilizza il piano tariffario Firebase standard, al contrario delle quote dell'API Cloud.

• Quota di test

  Le quote per i test sono determinate dal numero di dispositivi utilizzati per eseguire i test. Il piano Firebase Spark ha una quota fissa di test senza costi per gli utenti. Per piano Blaze, le tue quote potrebbero aumentare se utilizzi Google Cloud aumenta nel tempo. Se raggiungi la quota di test, attendi il giorno successivo o esegui l'upgrade al piano Blaze se al momento utilizzi il piano Spark. Se disponi già del piano Blaze, puoi richiedere un aumento della quota. Per ulteriori informazioni, vedi Quota di test.

  Puoi monitorare l'utilizzo della quota di test nella console Google Cloud.

• Quota dell'API Cloud Testing

  L'API Cloud Testing ha due limiti di quota: richieste al giorno per richieste per progetto e richieste ogni 100 secondi per progetto. Puoi monitorare di utilizzo nel Console Google Cloud.

• Quota dell'API Cloud Tool Results

  L'API Cloud Tool Results ha due limiti di quota: query al giorno per progetto e query ogni 100 secondi per progetto. Puoi monitorare di utilizzo nel Console Google Cloud.

  Consulta Quote dell'API Cloud per Test Lab per ulteriori informazioni sui limiti delle API. Se hai raggiunto una quota API:

  • Invia una richiesta per quote più alte entro il giorno modificando le quote direttamente nella console Google Cloud (tieni presente che la maggior parte dei limiti è impostata massimo per impostazione predefinita) o

  • Per richiedere quote API più elevate, compila un modulo di richiesta nel Console Google Cloud o contattando Assistenza Firebase.

Come faccio a sapere se il traffico che raggiunge il mio backend proviene da Test Lab?

Dal tuo backend, puoi determinare se il traffico proviene da dispositivi di test ospitati su Firebase controllando l'indirizzo IP di origine rispetto ai nostri intervalli IP.

Test Lab funziona con VPC-SC?

Test Lab non funziona con VPC-SC, che blocca la copia di app e altri elementi di test tra lo spazio di archiviazione interno di Test Lab e i bucket dei risultati degli utenti.

Come faccio a rilevare test irregolari in Test Lab?

Per rilevare un comportamento irregolare nei test, ti consigliamo di utilizzare la classe --numeri-tentativi-di-test-instabile . Le riesecuzione di deflake vengono fatturate o conteggiate ai fini della quota giornaliera come le normali esecuzioni dei test.

Tieni presente che:

• L'intera esecuzione del test viene eseguita di nuovo quando viene rilevato un errore. Non sono presenti supporto per ritentare solo gli scenari di test non riusciti.
• Le esecuzioni di nuovi tentativi di deflake sono pianificate per essere eseguite alla stessa ora, ma non verranno eseguite in parallelo, ad esempio quando il traffico supera il numero tra i dispositivi disponibili.

Test Lab supporta Appium, Flutter/FlutterDriver, React Native/Jest o Cetriolo?

Anche se alcuni di questi elementi sono nella nostra roadmap, al momento non siamo in grado di fornire a supportare queste piattaforme di test e sviluppo di app.

Dove posso trovare i dettagli del dispositivo, risoluzione ecc.?

Le informazioni dettagliate sul dispositivo sono disponibili tramite l'API e possono essere accessibili dal client gcloud utilizzando il comando describe:

gcloud firebase test ios models describe MODEL

Posso utilizzare lo sharding con i test per iOS?

Lo sharding non è supportato in modo nativo in Test Lab per iOS. Tuttavia, puoi utilizzare il client Flank per eseguire lo sharding degli scenari di test iOS.

Per farlo, devi impostare la chiave e i valori OnlyTestIdentifiers nel file .xctestrun. Per maggiori dettagli, visita la pagina man relativa a xcodebuild.xctestrun.

Captcha di accesso

Il test robot non può bypassare le schermate di accesso che richiedono un'ulteriore azione utente oltre all'inserimento delle credenziali per accedere, ad esempio completare un CAPTCHA.

Supporto del framework UI

Il test Robo funziona al meglio con app che utilizzano elementi UI dell'UI di Android (inclusi View, ViewGroup e WebView oggetti). Se usi il test Robo per addestrare app che usano altre UI framework, incluse le app che utilizzano il motore grafico Unity, il test potrebbe terminare senza esplorare oltre il primo schermo.