Ce guide explique comment exécuter un test d'instrumentation, de robot ou de boucle de jeu à l'aide de la CLI gcloud.
Pour obtenir la liste complète des commandes gcloud
que vous pouvez utiliser avec votre application Android dans Test Lab, consultez la documentation de référence sur gcloud firebase test android
.
Avant de commencer
Si ce n'est pas encore fait, ajoutez Firebase à votre projet Android.
Étape 1 : Configurer gcloud CLI
- Télécharger le SDK Google Cloud
- Assurez-vous que votre installation est à jour :
gcloud components update
- Connectez-vous à la gcloud CLI à l'aide de votre compte Google :
gcloud auth login
- Définissez votre projet Firebase dans gcloud, où PROJECT_ID correspond à l'ID de votre projet Firebase:
gcloud config set project PROJECT_ID
Cela inclut l'outil gcloud CLI.
Étape 2 : Vérifier les appareils de test disponibles
Utilisez les commandes gcloud suivantes pour afficher les appareils et les paramètres régionaux de test disponibles pour votre test.
Vous pouvez également télécharger l'exemple d'application Notepad pour commencer à exécuter les commandes immédiatement. Utilisez le fichier binaire app-debug-unaligned.apk
et le fichier de tests d'instrumentation app-debug-test-unaligned.apk
, qui se trouvent dans NotePad/app/build/outputs/apk/
.
models list
: obtenez une liste à jour des appareils Android disponibles pour vos tests.gcloud firebase test android models list
Dans le résultat de la commande :
- La colonne
MODEL_ID
contient l'identifiant que vous pourrez utiliser ultérieurement pour exécuter des tests sur le modèle d'appareil. - La colonne
OS_VERSION_ID
contient les versions du système d'exploitation compatibles avec l'appareil.
Exemple de résultat :
- La colonne
models describe
: obtenez plus d'informations sur unMODEL_ID
Android spécifique.gcloud firebase test android models describe MODEL_ID
Le résultat contient la marque, le fabricant, les versions d'OS, les niveaux d'API compatibles, les interfaces binaires d'application (ABI) compatibles, les dates de sortie et si l'appareil est physique ou virtuel.
versions list
: permet d'obtenir la liste des versions d'OS actuellement disponibles à tester.gcloud firebase test android versions list
Vous pouvez utiliser un identifiant de l'une des deux premières colonnes de la sortie de commande (
OS_VERSION_ID
etVERSION
) pour exécuter ultérieurement des tests sur une version de l'OS Android. Si vous ne spécifiez pas les versions d'OS Android à tester, la valeur par défaut indiquée dans la colonneTAGS
est utilisée.Exemple de résultat :
locales list
: obtenez la liste actuelle des paramètres régionaux disponibles pour les tests.gcloud firebase test android versions list
La première colonne de la sortie de la commande,
LOCALE
, contient l'identifiant que vous pourrez utiliser ultérieurement pour exécuter des tests sur une langue. Si vous ne spécifiez pas les paramètres régionaux à tester, l'anglais est utilisé comme paramètre régional par défaut.
Étape 3 : Exécuter le test
Maintenant que vous connaissez la gamme de modèles d'appareils, de paramètres régionaux et de versions d'OS disponibles pour tester votre application, vous pouvez spécifier des appareils à l'aide de la commande gcloud firebase test android run
et de l'indicateur --device
pour exécuter des tests Robo ou d'instrumentation.
Exécuter un test Robo
Même si vous n'avez pas de tests d'instrumentation, vous pouvez toujours rechercher des bugs dans votre application. Utilisez le test Robo pour effectuer un examen automatisé de l'interface utilisateur de votre application. Le test Robo exécute l'application en effectuant une analyse statique des différents chemins via l'interface utilisateur de l'application, puis explore l'application pour détecter les plantages et autres problèmes potentiels.
Pour exécuter un test Robo, exécutez l'exemple de commande suivant:
gcloud firebase test android run \ --type robo \ --app app-debug-unaligned.apk \ --device model=Nexus6,version=21,locale=en,orientation=portrait \ --device model=Nexus7,version=19,locale=fr,orientation=landscape \ --timeout 90s \ --client-details matrixLabel="Example matrix label"
- Le paramètre
--type robo
est implicite si aucune valeur--type
n'est spécifiée. - Pour vous aider à identifier et à localiser vos matrices de test dans la console Firebase, vous pouvez utiliser l'indicateur facultatif
--client-details matrixLabel="Example matrix label"
pour étiqueter votre matrice de test. - Pour afficher l'ensemble complet des options de ligne de commande permettant d'exécuter des tests, saisissez
gcloud help firebase test android run
.
Au lieu de spécifier ces arguments sur la ligne de commande, vous pouvez également les spécifier dans un fichier d'arguments au format YAML. Exécutez gcloud topic arg-files
pour apprendre à utiliser cette fonctionnalité.
Pour savoir comment examiner les résultats du test Robo, consultez la section Analyser les résultats de vos tests.
Exécuter un test d'instrumentation
Utilisez maintenant l'outil de ligne de commande gcloud
pour exécuter les tests Espresso de l'application Notepad sur les configurations d'appareils Android que vous avez spécifiées. Utilisez le type de test instrumentation
pour exécuter les tests dans app-debug-test-unaligned.apk
comme suit :
gcloud firebase test android run \ --type instrumentation \ --app app-debug-unaligned.apk \ --test app-debug-test-unaligned.apk \ --device model=Nexus6,version=21,locale=en,orientation=portrait \ --device model=Nexus7,version=19,locale=fr,orientation=landscape --client-details matrixLabel="Example matrix label"
- Le paramètre d'instrumentation
--type
est implicite si un APK de test est spécifié avec--test
. - Pour vous aider à identifier et à localiser vos matrices de test dans la console Firebase, vous pouvez utiliser l'indicateur
--client-details matrixLabel="Example matrix label"
facultatif pour ajouter un libellé à votre matrice de test. - Pour afficher l'ensemble complet des options de ligne de commande permettant d'exécuter des tests, saisissez
gcloud help firebase test android run
.
Au lieu de spécifier ces arguments dans la ligne de commande, vous pouvez éventuellement les spécifier dans un fichier d'argument au format YAML. Exécutez gcloud topic arg-files
pour découvrir comment utiliser cette fonctionnalité.
La CLI gcloud est compatible avec Android Test Orchestrator.
Orchestrator nécessite AndroidJUnitRunner 1.1 ou version ultérieure. Pour l'activer, utilisez gcloud firebase test android run
avec l'option --use-orchestrator
. Pour le désactiver, utilisez l'option --no-use-orchestrator
.
Vous pouvez également contrôler la façon dont Test Lab exécute vos tests d'instrumentation à l'aide d'options supplémentaires non présentées ci-dessus. Par exemple, vous pouvez utiliser l'indicateur --test-targets
pour tester une seule classe ou une méthode de classe utilisée par votre APK de test. Vous pouvez également savoir si votre test qui a échoué était réellement instable ou non à l'aide du flag --num-flaky-test-attempts
, qui spécifie le nombre de fois où une exécution de test doit être réessayée si un ou plusieurs de ses cas de test échouent pour une raison quelconque. Pour en savoir plus, consultez gcloud firebase test android run.
Rapports de couverture de code pour les tests d'instrumentation
Test Lab est compatible avec les outils de création de rapports sur la couverture du code EMMA et JaCoCo. Si vous avez intégré l'un de ces outils à la compilation de votre application, vous pouvez obtenir un rapport de couverture de code pour les tests Test Lab en exécutant gcloud firebase test android run
avec quelques arguments supplémentaires. Si Android Test Orchestrator n'est pas activé, utilisez le code suivant:
gcloud firebase test android run \ --type instrumentation \ --app your-app.apk \ --test your-app-test.apk \ --device model=TestDevice,version=AndroidVersion \ --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \ --directories-to-pull /sdcard/Download
Si vous générez des rapports de couverture de code tout en utilisant Android Test Orchestrator, modifiez vos variables d'environnement comme suit :
gcloud firebase test android run \ --type instrumentation \ --app your-app.apk \ --test your-app-test.apk \ --device model=TestDevice,version=AndroidVersion \ --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \ --directories-to-pull /sdcard/Download
Lorsque Test Lab a terminé d'exécuter vos tests, recherchez vos rapports de couverture de code dans Google Cloud Storage :
- Ouvrez le lien de console Firebase que l'outil
gcloud
a imprimé au-dessus du tableau des résultats du test dans votre terminal. - Cliquez sur une exécution de test dans la liste de ce lien pour ouvrir la page d'informations correspondante.
- Cliquez sur Résultats des tests pour accéder au bucket Cloud Storage contenant les résultats des tests de cette exécution.
- Ouvrez
artifacts/coverage.ec
pour afficher votre rapport sur la couverture du code.
Analyser les résultats de votre test
Au bout de quelques minutes, un résumé de base des résultats de vos tests est imprimé par l'outil gcloud :
La sortie de l'exécution de votre test de ligne de commande inclut également un lien permettant d'afficher les résultats du test. Pour en savoir plus sur l'interprétation de ces résultats, consultez Analyser Firebase Test Lab pour les résultats Android.
Connexion et saisie de texte personnalisées avec un test Robo
Le test Robo termine automatiquement les écrans de connexion qui utilisent un compte Google pour l'authentification, sauf si vous utilisez le paramètre --no-auto-google-login
. Il peut également effectuer des écrans de connexion personnalisés à l'aide des identifiants de compte de test que vous fournissez. Vous pouvez également utiliser ce paramètre afin de fournir un texte d'entrée personnalisé pour d'autres champs de texte utilisés par votre application.
Pour renseigner les champs de texte de votre application, utilisez le paramètre --robo-directives
et fournissez une liste de paires key-value
séparées par des virgules, où key
est le nom de la ressource Android de l'élément d'interface utilisateur cible et value
est la chaîne de texte. Vous pouvez également utiliser cet indicateur pour demander à Robo d'ignorer des éléments d'interface utilisateur spécifiques (par exemple, "Déconnexion").
Les champs EditText
sont acceptés, mais pas les champs de texte dans les éléments d'interface utilisateur WebView
.
Par exemple, vous pouvez utiliser le paramètre suivant pour la connexion personnalisée :
--robo-directives username_resource=username,password_resource=password
Commandes et indicateurs disponibles
La CLI gcloud Test Lab propose plusieurs commandes et options qui vous permettent d'exécuter des tests avec différentes spécifications :
Option Android Test Orchestrator : option permettant d'activer Orchestrator, un outil qui vous permet d'exécuter chacun des tests de votre application dans son propre appel de
Instrumentation
. Test Lab exécute toujours la dernière version d'Orchestrator.Indicateurs de test de boucle de jeu : ensemble d'indicateurs de configuration qui activent et contrôlent un "mode démo" pour simuler les actions du joueur dans les applications de jeu. Découvrez comment exécuter des tests de boucle de jeu avec Test Lab.
Option de segmentation uniforme (bêta) : option qui spécifie le nombre de segments dans lesquels vous souhaitez répartir uniformément les cas de test. Les segments sont exécutés en parallèle sur des appareils distincts.
Indicateur de fractionnement manuel (en version bêta) : indicateur qui spécifie un groupe de packages, de classes et/ou de cas de test à exécuter dans un segment (un groupe de cas de test). Les partitions sont exécutées en parallèle sur des appareils distincts.
Indicateur de profils de trafic réseau (bêta) : indicateur qui spécifie le profil réseau utilisé par vos tests avec des appareils physiques. Les profils réseau émulent diverses conditions de réseau, ce qui vous permet de tester les performances de votre application sur des réseaux peu fiables ou imprévisibles.
Créer des scripts pour les commandes gcloud avec Test Lab
Vous pouvez utiliser des scripts shell ou des fichiers de commandes pour automatiser les commandes de test d'applications mobiles que vous exécuteriez autrement à l'aide de la ligne de commande gcloud. L'exemple de script bash suivant exécute un test d'instrumentation avec un délai avant expiration de deux minutes et indique si l'exécution du test a réussi:
if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m then echo "Test matrix successfully finished" else echo "Test matrix exited abnormally with non-zero exit code: " $? fi
Codes de sortie du script
Test Lab fournit plusieurs codes de sortie que vous pouvez utiliser pour mieux comprendre les résultats des tests que vous exécutez à l'aide de scripts ou de fichiers de commandes.
Écrire des codes de sortie pour Test Lab
Exit code | Remarques |
---|---|
0 | Toutes les exécutions de test ont réussi. |
1 | Une erreur générale s'est produite. Les causes possibles sont les suivantes : un nom de fichier qui n'existe pas ou une erreur HTTP/réseau. |
2 | Le test a été interrompu, car des commandes ou des arguments inconnus ont été fournis. |
10 | Un ou plusieurs scénarios de test (classes ou méthodes de classe testées) d'une exécution de test n'ont pas réussi. |
15 | Firebase Test Lab n'a pas pu déterminer si la matrice de test a réussi ou échoué en raison d'une erreur inattendue. |
18 | L'environnement de test pour cette exécution de test n'est pas compatible en raison de dimensions de test incompatibles. Cette erreur peut se produire si le niveau d'API Android sélectionné n'est pas compatible avec le type d'appareil sélectionné. |
19 | La matrice de test a été annulée par l'utilisateur. |
20 | Une erreur d'infrastructure de test s'est produite. |