Esta página foi traduzida pela API Cloud Translation.

Integrar o Test Lab ao seu sistema de CI/CD

1. Introdução

Última atualização:07/04/2022

Como executar testes de dispositivos móveis com sistemas CI/CD

Executar testes em dispositivos móveis pode ser difícil: muitos apps são executados em diferentes plataformas, dispositivos e versões de API. Os desenvolvedores de apps querem testar em quantas configurações for possível para detectar problemas antes dos usuários. No entanto, as restrições de custo e recursos limitam o número de dispositivos de teste e a quantidade de manutenção manual em que os desenvolvedores individuais podem investir. Quando o processo de desenvolvimento é ampliado, especialmente para sistemas de integração/desenvolvimento contínuos (CI/CD), o processo de teste precisa ser automatizado, minimizando os custos e o esforço de manutenção.

Para ajudar você a entender o desempenho dos seus apps nos dispositivos dos usuários, o Firebase Test Lab hospeda uma variedade de dispositivos móveis físicos e virtuais nos nossos data centers. Também oferecemos a CLI do Google Cloud, uma ferramenta de linha de comando independente de plataforma que orquestra testes em execução nos dispositivos dos nossos data centers. A CLI gcloud simplifica a integração da solução de testes baseada na nuvem do Test Lab aos fluxos de trabalho de CI/CD.

Suporte multiplataformas

O Test Lab oferece soluções de testes para apps Android e iOS e suporte especializado em jogos para dispositivos móveis, como o Unity. As opções de teste abrangem estruturas de teste populares como o Android Espresso, o UI Automator e o iOS XCTest. Com nosso rastreador automatizado, o Robo, o Test Lab pode até mesmo executar testes sem nenhum código de teste.

Sem requisitos de hardware

O Test Lab hospeda dispositivos físicos nos data centers do Google e hospeda dispositivos virtuais no Google Cloud. Basta enviar seus testes para o Test Lab e aguardar os resultados.

Rapidez e confiança

A execução de muitos casos de teste simultâneos pode levar muito tempo, bloqueando os processos de CI/CD. Com o Test Lab, é fácil fragmentar testes e executá-los em vários dispositivos em paralelo. Você também pode detectar a inconsistência, um ponto problemático comum nos testes móveis.

O que você vai aprender

Como criar artefatos de teste
Como executar um teste de dispositivo móvel usando a CLI gcloud
Como configurar o Jenkins CI
Como executar testes para dispositivos móveis usando a CI do Jenkins
Como configurar testes para escalonar com sistemas de CI

O foco deste codelab é a execução de testes. Conceitos e blocos de códigos sem relevância não serão abordados. Eles são incluídos somente para você copiar e colar.

Pré-requisitos

Se você preferir criar tudo do zero, use o Android Studio para executar um teste no Android ou o XCode para executar um teste no iOS. Você também pode trazer você e receber os artefatos.

2. Executar um teste com a CLI gcloud

Criar um APK de app Android e um APK de teste

Para executar um teste com o Test Lab, comece criando um APK de app Android e um APK de teste que contenha testes instrumentados para execução em dispositivos de hardware ou emuladores. Se você já tem uma base de código funcional, crie seus próprios APKs ou use o BasicSample for Espresso.

Para criar APKs usando comandos do Gradle, é necessário instalar o SDK do Android. Se o Android Studio não estiver instalado na sua máquina, instale o Android Studio e o SDK do Android e defina o ambiente ANDROID_HOME com seu diretório do SDK do Android. Por exemplo, no arquivo ~/.bash_profile, adicione a seguinte linha:

export ANDROID_HOME=~/Android/Sdk # For linux
export ANDROID_HOME=~/Library/Android/sdk  # For MacOS

Em seguida, execute os comandos abaixo para clonar o código e criar APKs:

git clone https://github.com/android/testing-samples.git
cd testing-samples/ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Depois de executar os comandos clone e build, você pode encontrar o APK do app e o APK de teste nos seguintes locais:

app/build/outputs/apk/debug/app-debug.apk
app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Como alternativa, você pode usar as seguintes opções para fazer o download dos testes e dos APKs do app:

Para criar APKs no Android Studio, siga as instruções em Testar no Android Studio.
Faça o download do app Notepad de exemplo. Use o arquivo binário app-debug-unaligned.apk e o arquivo de testes de instrumentação app-debug-test-unaligned.apk, que estão localizados em NotePad/app/build/outputs/apk/.

Se você tiver um código-fonte funcional para um app iOS, poderá gravar um XCTest e criar um arquivo ZIP com o app e os testes.

Usar a CLI gcloud para executar um teste com o Test Lab

Nesta seção, você vai criar um projeto do Firebase e configurar o ambiente local do SDK Google Cloud. Para saber mais, consulte Iniciar testes com a CLI gcloud .

Configurar a CLI gcloud

Baixe o SDK do Google Cloud, que inclui a ferramenta CLI gcloud.
Verifique se a instalação está atualizada:

gcloud components update

Faça login na CLI gcloud usando sua Conta do Google:

gcloud auth login

Defina seu projeto do Firebase na CLI do gcloud, em que PROJECT_ID é o ID do projeto do Firebase. Você pode encontrar o ID do projeto no URL do Console do Firebase, que segue esta convenção de nomenclatura: https://console.firebase.google.com/project/[PROJECT_ID]/...

gcloud config set project PROJECT_ID

Se você não tiver um projeto do Firebase, crie um no Console do Firebase.

Executar um teste usando os APKs criados

Nesta seção, você vai executar um teste de instrumentação no dispositivo padrão do Test Lab, que é o Pixel 3 com o nível 28 da API. Se quiser usar um dispositivo diferente, verifique os dispositivos disponíveis.

Use o app e os APKs de teste que você criou em Criar um APK de app Android e APK de teste para executar um teste de instrumentação Android usando o seguinte comando:

gcloud firebase test android run \
  --type instrumentation \
  --app app/build/outputs/apk/debug/app-debug.apk \
  --test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Analisar os resultados do teste

Você pode analisar os resultados do teste usando qualquer uma das seguintes opções:

gcloud resumo: quando o teste é concluído, a CLI gcloud imprime um resumo básico dos resultados do teste.
gcloud código de saída: após a conclusão do teste, o comando sai com 0 se o teste for aprovado. Se o teste falhar, o comando sairá com um código de saída diferente de zero.
Console do Firebase: a CLI gcloud mostra um link para o Console do Firebase. O link segue a convenção de nomenclatura https://console.firebase.google.com/project/PROJECT_ID/testlab/.... Para saber mais, consulte Interpretar os resultados de uma única execução de teste.
Arquivo JUnit XML: a CLI gcloud imprime o seguinte:

Raw results will be stored in your Cloud Storage bucket at [https://console.developers.google.com/storage/browser/test-lab-xxxxx/xxxxx/]

test-lab-xxxxx/xxxxx é o bucket do Cloud Storage que armazena artefatos e resultados de teste. Para localizar o arquivo XML do JUnit que contém os resultados do teste, abra o link e navegue até blueline-28-en-portrait/test_result_1.xml.

3. Configurar com o Jenkins CI

Nesta seção, você vai usar o Jenkins CI, um sistema de CI conhecido, para executar testes com o Test Lab. Se você quiser usar um sistema de CI diferente, consulte as práticas recomendadas avançadas para executar grandes conjuntos de testes e a documentação de outros sistemas de CI, como Bitrise e Circle CI. É possível usar o Flank como alternativa à CLI gcloud.

Ativar a CLI gcloud para Jenkins

Antes de usar o Test Lab com o Jenkins, ative as APIs necessárias e configure uma conta de serviço que o Jenkins possa usar para autenticação com a CLI gcloud.

Adicionar uma conta de serviço do Google Cloud para o Jenkins

Contas de serviço são contas limitadas destinadas a integrações de serviços. Essas contas oferecem controle refinado para serviços específicos e não estão sujeitas a verificações de spam ou solicitações de captcha, o que poderia bloquear seus builds de CI.

Para criar uma conta de serviço, siga estas etapas:

Abra a página Contas de serviço no console do Google Cloud.
Clique em Criar conta de serviço, adicione um Nome, uma Descrição e clique em Criar e continuar.
No menu suspenso Selecionar um papel, selecione Básico e Editor.
Clique em Continuar e em Concluído.

Em seguida, você vai criar e fazer o download de uma chave de autenticação que o Jenkins pode usar para se autenticar como a conta de serviço que você criou.

Para criar e fazer o download da chave da conta de serviço, siga estas etapas:

Na página Contas de serviço no console do Google Cloud, clique no e-mail associado à conta que você criou.
Selecione Chaves e clique em Adicionar chave e Criar nova chave.
Selecione JSON e clique em Criar.
Quando for solicitado que você faça o download do arquivo, clique em OK. Faça o download do arquivo em um local seguro no computador. Você precisará desse arquivo mais tarde ao configurar o Jenkins.

Para saber mais sobre como criar contas de serviço, consulte Como criar uma conta de serviço.

Ativar as APIs do Google Cloud necessárias

A API Cloud Testing permite executar testes na infraestrutura do Google. Você ativou essa API ao concluir a etapa "Executar um teste com a CLI do gcloud". Com a API Cloud Tool Results, você pode acessar os resultados do teste de maneira programática.

Abra a Biblioteca de APIs do Google Developers Console.
Na barra de pesquisa na parte de cima do console do Firebase, insira o nome de cada API necessária (API Cloud Testing e API Cloud Tool Results). A página de visão geral da API solicitada é exibida.
Clique em Ativar API na página de informações de cada API.

Instalar e configurar o Jenkins

É possível instalar e configurar a CI do Jenkins no Linux, macOS, Windows e em muitos outros ambientes. Alguns detalhes deste codelab são específicos para a instalação e execução da CI do Jenkins no Linux, incluindo o uso de barras (/) nos caminhos de arquivos.

Para fazer o download e instalar o Jenkins em um computador com o Linux ou o Windows em execução, siga as instruções de como instalar o Jenkins. Depois de instalar o Jenkins, siga as mesmas instruções de instalação para concluir a configuração e acessar o painel do Jenkins usando http://localhost:8080.

Verificar os plug-ins instalados

O Jenkins oferece suporte a diferentes sistemas de controle de versões. Neste codelab, você vai usar o Git para executar o teste anterior. Para ter uma experiência melhor ao executar a CLI gcloud, você precisa instalar o plug-in do SDK do GCloud.

No painel do Jenkins, clique em Manage Jenkins e depois em Manage Plugins.
Procure os plug-ins do Git e do SDK do Cloud e instale-os, caso ainda não estejam.

Configurar o local dos SDKs do Android e do Google Cloud

Agora você vai instruir o Jenkins sobre onde encontrar o SDK Google Cloud e o SDK do Android.

Para configurar os SDKs do Google Cloud e do Android para o Jenkins, siga estas etapas:

No painel do Jenkins, clique em Manage Jenkins e, em seguida, clique em Global Tool Configuration.
na seção SDK do Google Cloud, clique em Adicionar SDK do Google Cloud.
No campo Nome, insira um nome fácil de lembrar para a instância do SDK do Google Cloud, por exemplo, GCloud-SDK.
Insira o diretório principal do SDK do Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.
Configure as propriedades do sistema para os SDKs do Android e do Google Cloud abrindo Painel > Gerenciar Jenkins > Configurar o sistema.
Marque a caixa de seleção Variáveis de ambiente e clique em Adicionar.
No campo Nome, digite ANDROID_HOME. No campo Value, insira o local do SDK do Android, por exemplo, /opt/Android/Sdk.
Clique na caixa de seleção Tool Locations e clique em Add. No menu suspenso Nome, selecione o nome da instância do SDK do Google Cloud que você adicionou na configuração da ferramenta global.
No campo Home, insira a localização do SDK Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.

Adicionar as credenciais da conta de serviço ao Jenkins

Agora adicione as credenciais da conta de serviço da CLI gcloud ao Jenkins para que ele possa autenticar e executar os comandos da CLI gcloud.

No painel do Jenkins, clique em Manage Jenkins e em Manage Credentials.
Na seção Lojas com escopo para Jenkins, clique no link de domínio (global) e depois em Adicionar credenciais.
No menu suspenso Kind, selecione Google Service Account from private key.
No campo Project Name, insira o nome do projeto do Firebase.
Selecione Chave JSON, clique em Procurar e navegue até o local em que você salvou a chave da conta de serviço.
Clique em Criar.

Agora você está pronto para configurar o build automático do Jenkins para o Test Lab.

4. Executar testes do Test Lab com a CI do Jenkins

Agora que você configurou o Jenkins, vamos unir tudo e executar o mesmo teste com o Jenkins.

Você pode configurar o Jenkins para executar builds automatizados e executar testes sempre que houver atualizações no seu app. Você também pode configurar o Jenkins para executar builds periodicamente. Para saber mais sobre como configurar builds no Jenkins, consulte Como configurar builds automáticos.

Criar e configurar seu projeto do Jenkins

Crie um projeto para executar testes de integração contínua do seu app com o Test Lab.

Criar um projeto do Jenkins

Abra o painel do Jenkins navegando até http://localhost:8080.
No painel do Jenkins, clique em New Item.
Digite um nome para seu projeto no campo Item name e clique em Freestyle project para criar um projeto que usa uma única configuração de build.
Clique em OK. Para concluir as configurações do projeto, complete as seções restantes em sequência.

Configurar o gerenciamento de código-fonte

Na guia Gerenciamento de código-fonte, selecione Git.
Digite https://github.com/android/testing-samples.git no campo URL do repositório.

Configurar o ambiente de build

A seção "Ambiente de build" permite configurar as características do build. Para ativar a autenticação do Google Cloud, siga estas etapas:

Na guia Build Environment, marque a caixa de seleção GCloud SDK authentication e selecione o nome da instalação que você escolheu quando adicionou as informações de instalação do Google Cloud.
No menu suspenso Google Credentials, selecione as credenciais da conta de serviço que você configurou.

Adicionar etapas de build do Gradle para recriar pacotes de APK

Role para baixo até a seção Build, clique em Add build step e selecione Execute shell.
Adicione uma etapa de build para executar os seguintes comandos no diretório principal do app:

cd ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Adicionar uma etapa de build da CLI gcloud ao Jenkins

Agora você pode adicionar uma etapa de build ao Jenkins para executar o Test Lab usando a linha de comando da CLI gcloud.

Para adicionar a etapa de build da CLI gcloud, adicione uma nova etapa de build Execute shell e digite o seguinte comando:

gcloud config set project PROJECT_ID
gcloud firebase test android run \
--app ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/debug/app-debug.apk
--test ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Depois de concluir a configuração do projeto, role a tela até a parte de baixo da página e salve a configuração. Você será redirecionado para a página inicial do novo projeto.

Executar testes com o Jenkins

Agora você já pode criar o projeto do Jenkins e executar um teste como o teste manual feito com a CLI gcloud.

Para executar o teste com o Jenkins, siga estas etapas:

Para acionar a build manualmente, clique em Build Now.
Verifique o progresso e os resultados clicando no novo build > Console Output.

Se não houver erros, parabéns! Você configurou um projeto e fez um teste em um dispositivo Pixel 2 com apenas um clique. Se você encontrar erros, consulte Solução de problemas.

5. Práticas recomendadas avançadas para executar grandes pacotes de testes

Quando você quiser executar muitos testes simultaneamente, siga estas práticas recomendadas para garantir que os testes sejam executados de maneira rápida e confiável.

Aumente a cobertura em várias configurações de dispositivo

É fácil adicionar vários dispositivos à etapa de build da gcloud CLI. E você pode verificar e escolher dispositivos, versões, localidades e orientações disponíveis. Por exemplo, o comando a seguir executa testes em dois dispositivos:

Um Google Pixel 2 virtual com nível 30 da API na orientação retrato e a localidade em inglês
Um Samsung Galaxy S20 físico com o nível 29 da API na orientação paisagem e na localidade francesa.

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --device model=Pixel2,version=30,locale=en,orientation=portrait  \
  --device model=x1q,version=29,locale=fr,orientation=landscape

Usar um arquivo de configuração YAML da gcloud CLI

Se preferir gerenciar os argumentos em um só lugar ou com o sistema de controle de origem, especifique esses argumentos em um arquivo de argumentos com formatação YAML. Para aprender a usar esse recurso, execute gcloud topic arg-files.

Fragmentar testes para execução em paralelo

A fragmentação de testes divide um conjunto de testes em subgrupos (fragmentos) que são executados separadamente e de forma isolada. O Test Lab executa automaticamente cada fragmento em paralelo usando vários dispositivos, o que permite concluir todo o conjunto de testes mais rapidamente. Para mais informações, consulte Ativar o sharding.

Para ativar a fragmentação, use o canal gcloud beta e adicione a sinalização –num-uniform-shards ou –test-targets-for-shard à etapa de build da CLI da gcloud. Por exemplo, para dividir os testes em cinco execuções e executar em paralelo, execute os seguintes comandos:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-uniform-shards 5

Ativar a detecção de inconsistência

Os testes para dispositivos móveis podem ser instáveis. Às vezes, os testes são aprovados ou podem falhar, mesmo com a mesma configuração. É possível detectar se um teste com falha foi instável usando a flag da CLI gcloud –num-flaky-test-attempts. Essa flag especifica o número de vezes que uma execução de teste precisa ser repetida se um ou mais casos de teste falharem por qualquer motivo.

Por exemplo, para executar novamente os casos de teste com falha três vezes após a execução inicial com falha, especifique o seguinte:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-flaky-test-attempts 3

6. Parabéns

Parabéns! Você executou seu primeiro teste do Test Lab com um sistema de CI.

Você criou um app e APKs de teste e executou um teste de instrumentação com o Test Lab usando a CLI gcloud. Você também vai configurar um projeto do Jenkins para automatizar o mesmo teste.

Agora você conhece as principais etapas para integrar o Test Lab ao seu sistema de CI/CD.

A seguir

Confira Como configurar a CI usando o Pacote de emuladores do Firebase.