Esta página foi traduzida pela API Cloud Translation.

Integrar o Test Lab ao seu sistema de CI/CD

1. Introdução

Última atualização:07/04/2022

Como executar testes de dispositivos móveis com sistemas CI/CD

Executar testes em dispositivos móveis pode ser difícil: muitos apps são executados em diferentes plataformas, dispositivos e versões da API. Os desenvolvedores de apps querem testar em quantas configurações for possível para detectar problemas antes dos usuários. No entanto, as restrições de custo e recursos limitam o número de dispositivos de teste e a quantidade de manutenção manual em que os desenvolvedores individuais podem investir. Quando o processo de desenvolvimento é ampliado, especialmente para sistemas de integração/desenvolvimento contínuos (CI/CD), o processo de teste precisa ser automatizado, minimizando os custos e o esforço de manutenção.

Para ajudar você a entender o desempenho dos seus apps no o Firebase Test Lab hospeda uma variedade de dispositivos móveis físicos e virtuais nos nossos data centers. Também oferecemos a CLI do Google Cloud, uma ferramenta de linha de comando independente de plataforma que orquestra testes em execução nos dispositivos dos nossos data centers. A CLI gcloud simplifica a integração da solução de testes baseada na nuvem do Test Lab aos fluxos de trabalho de CI/CD.

Suporte multiplataformas

O Test Lab oferece soluções de testes para apps Android e iOS e suporte especializado em jogos para dispositivos móveis, como o Unity. As opções de teste abrangem estruturas de teste populares como o Android Espresso, o UI Automator e o iOS XCTest. Com nosso rastreador automatizado, o Robo, o Test Lab pode até mesmo executar testes sem nenhum código de teste.

Nenhum requisito de hardware

O Test Lab hospeda dispositivos físicos em data centers do Google e dispositivos virtuais no Google Cloud. Basta enviar seus testes para o Test Lab e aguardar os resultados.

Rapidez e confiança

A execução de muitos casos de teste simultâneos pode levar muito tempo, bloqueando os processos de CI/CD. Com o Test Lab, é possível dividir os testes e executá-los em vários dispositivos em paralelo. Você também pode detectar a inconsistência, um ponto problemático comum nos testes móveis.

O que você vai aprender

Como criar artefatos de teste
Como executar um teste de dispositivo móvel usando a CLI gcloud
Como configurar a CI do Jenkins
Como executar testes de dispositivos móveis usando a CI do Jenkins
Como configurar testes para escalonar verticalmente com sistemas de CI

O foco deste codelab é a execução de testes. Conceitos e blocos de códigos sem relevância não serão abordados. Eles são incluídos somente para você copiar e colar.

Pré-requisitos

Se você preferir criar do zero, precisará do Android Studio para executar um teste do Android ou do XCode para executar um teste do iOS. Você também pode trazer você e receber os artefatos.

2. Executar um teste com a CLI gcloud

Criar um APK de app Android e um APK de teste

Para executar um teste com o Test Lab, comece criando um APK de app Android e um APK de teste, que contém testes de instrumentação para execução em dispositivos de hardware ou emuladores. Se você já tem uma base de código funcional, crie seus próprios APKs ou use o BasicSample for Espresso.

Para criar APKs usando comandos do Gradle, é necessário instalar o SDK do Android. Se o Android Studio não estiver instalado na sua máquina, instale o Android Studio e o SDK do Android e defina o ambiente ANDROID_HOME com seu diretório do SDK do Android. Por exemplo, no arquivo ~/.bash_profile, adicione a seguinte linha:

export ANDROID_HOME=~/Android/Sdk # For linux
export ANDROID_HOME=~/Library/Android/sdk  # For MacOS

Em seguida, execute os comandos abaixo para clonar o código e criar APKs:

git clone https://github.com/android/testing-samples.git
cd testing-samples/ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Depois de executar os comandos de clonagem e criação, você pode encontrar o APK do app e o APK de teste nos seguintes locais:

app/build/outputs/apk/debug/app-debug.apk
app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Como alternativa, você pode usar as seguintes opções para fazer o download dos testes e dos APKs do app:

Para criar APKs no Android Studio, siga as instruções em Testar no Android Studio.
Faça o download do app Notepad de exemplo. Use o arquivo binário app-debug-unaligned.apk e o arquivo de testes de instrumentação app-debug-test-unaligned.apk, que estão localizados em NotePad/app/build/outputs/apk/.

Se você tiver um código-fonte ativo para um app iOS, poderá programar um XCTest e criar um arquivo ZIP usando o app e os testes.

Usar a CLI gcloud para executar um teste com o Test Lab

Nesta seção, você vai criar um projeto do Firebase e configurar seu ambiente local do SDK do Google Cloud. Para saber mais, consulte Iniciar testes com a CLI gcloud .

Configurar a CLI gcloud

Baixe o SDK do Google Cloud, que inclui a ferramenta CLI gcloud.
Verifique se a instalação está atualizada:

gcloud components update

Faça login na CLI gcloud usando sua Conta do Google:

gcloud auth login

Defina seu projeto do Firebase na CLI do gcloud, em que PROJECT_ID é o ID do projeto do Firebase. Você pode encontrar o ID do projeto no URL do Console do Firebase, que segue esta convenção de nomenclatura: https://console.firebase.google.com/project/[PROJECT_ID]/...

gcloud config set project PROJECT_ID

Se você não tiver um projeto do Firebase, crie um no Console do Firebase.

Executar um teste usando os APKs criados

Nesta seção, você executa um teste de instrumentação no dispositivo padrão do Test Lab, que é um Pixel 3 com o nível 28 da API. Se você quiser usar outro dispositivo, confira os dispositivos disponíveis.

Usando o app e os APKs de teste que você criou em "Criar um APK de app Android" e "Testar o APK", execute um teste de instrumentação do Android usando o seguinte comando:

gcloud firebase test android run \
  --type instrumentation \
  --app app/build/outputs/apk/debug/app-debug.apk \
  --test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Analisar os resultados do teste

Você pode analisar os resultados do teste usando qualquer uma das seguintes opções:

gcloud summary: quando o teste é concluído, a CLI gcloud imprime um resumo básico dos resultados do teste.
gcloud código de saída: após a conclusão do teste, o comando sai com 0 se o teste for aprovado. Se o teste falhar, o comando será encerrado com um código de saída diferente de zero.
Console do Firebase: a CLI gcloud imprime um link para o Console do Firebase. O link segue a convenção de nomenclatura https://console.firebase.google.com/project/PROJECT_ID/testlab/.... Para saber mais, consulte Interpretar os resultados de uma única execução de teste.
Arquivo XML JUnit: a CLI gcloud mostra o seguinte:

Raw results will be stored in your Cloud Storage bucket at [https://console.developers.google.com/storage/browser/test-lab-xxxxx/xxxxx/]

test-lab-xxxxx/xxxxx é o bucket do Cloud Storage que armazena artefatos e resultados de teste. Para localizar o arquivo XML do JUnit que contém os resultados do teste, abra o link e navegue até blueline-28-en-portrait/test_result_1.xml.

3. Configurar com a CI do Jenkins

Nesta seção, você vai usar o Jenkins CI, um sistema de CI conhecido, para executar testes com o Test Lab. Se você quiser usar um sistema de CI diferente, consulte as práticas recomendadas avançadas para executar grandes conjuntos de testes e a documentação de outros sistemas de CI, como Bitrise e Circle CI. É possível usar o Flank como uma alternativa à gcloud CLI.

Ativar a CLI gcloud para Jenkins

Antes de usar o Test Lab com o Jenkins, ative as APIs necessárias e configure uma conta de serviço que o Jenkins possa usar para autenticação com a CLI gcloud.

Adicionar uma conta de serviço do Google Cloud para o Jenkins

As contas de serviço são limitadas e destinadas a integrações de serviço. Essas contas oferecem um controle refinado para serviços específicos e não estão sujeitas a verificações de spam ou solicitações captcha, o que poderia bloquear seus builds de CI.

Para criar uma conta de serviço, siga estas etapas:

Abra a página Contas de serviço no console do Google Cloud.
Clique em Criar conta de serviço, adicione um Nome e uma Descrição e clique em Criar e continuar.
No menu suspenso Selecionar um papel, selecione Básico e Editor.
Clique em Continuar e em Concluído.

Em seguida, crie e faça o download de uma chave de autenticação que o Jenkins poderá usar para se autenticar como a conta de serviço criada.

Para criar e fazer o download da chave da conta de serviço, siga estas etapas:

Na página Contas de serviço do console do Google Cloud, clique no e-mail associado à conta que você criou.
Selecione Chaves e clique em Adicionar chave e Criar nova chave.
Selecione JSON e clique em Criar.
Quando você receber a solicitação para fazer o download do arquivo, clique em OK. Faça o download do arquivo em um local seguro no computador. Você precisará desse arquivo mais tarde ao configurar o Jenkins.

Para saber mais sobre como criar contas de serviço, consulte Como criar uma conta de serviço.

Ativar as APIs necessárias do Google Cloud

A API Cloud Testing permite executar testes na infraestrutura do Google. Você ativou essa API ao concluir a etapa "Executar um teste com a CLI do gcloud". A API Cloud Tool Results permite acessar os resultados dos testes de maneira programática.

Abra a biblioteca de APIs do Google Developers Console.
Na barra de pesquisa na parte de cima do Console do Firebase, digite o nome de cada API necessária ( API Cloud Testing e API Cloud Tool Results). A página de informações gerais da API solicitada vai aparecer.
Clique em Ativar API na página de visão geral de cada API.

Instalar e configurar o Jenkins

É possível instalar e configurar a CI do Jenkins no Linux, macOS, Windows e muitos outros ambientes. Alguns detalhes deste codelab são específicos para a instalação e execução da CI do Jenkins no Linux, incluindo o uso de barras (/) nos caminhos de arquivos.

Para fazer o download e instalar o Jenkins em um computador com Linux ou Windows, siga as instruções de instalação do Jenkins. Depois de instalar o Jenkins, siga as mesmas instruções de instalação do Jenkins para concluir a configuração e acessar o painel do Jenkins usando http://localhost:8080.

Verificar os plug-ins instalados

O Jenkins oferece suporte a diferentes sistemas de controle de versões. Neste codelab, você vai usar o Git para executar o teste anterior. Para ter uma experiência melhor ao executar a CLI gcloud, você precisa instalar o plug-in do SDK do GCloud.

No painel do Jenkins, clique em Manage Jenkins e em Manage Plugins.
Pesquise e instale os plug-ins do Git e do SDK do GCloud (se ainda não estiverem instalados).

Configurar o local dos SDKs do Android e do Google Cloud

Agora você instrui o Jenkins onde encontrar o SDK do Google Cloud e o SDK do Android.

Para configurar os SDKs do Google Cloud e do Android para o Jenkins, siga estas etapas:

No painel do Jenkins, clique em Manage Jenkins e, em seguida, clique em Global Tool Configuration.
Na seção SDK Google Cloud, clique em Adicionar SDK Google Cloud.
No campo Name, digite um nome para a instância do SDK Google Cloud que seja fácil de lembrar, por exemplo, GCloud-SDK.
Insira o diretório principal do SDK do Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.
Abra Painel > Gerenciar Jenkins > Configurar sistema para configurar as propriedades do sistema para os SDKs do Android e do Google Cloud.
Marque a caixa de seleção Variáveis de ambiente e clique em Adicionar.
No campo Nome, digite ANDROID_HOME. No campo Value, insira o local do SDK do Android, por exemplo, /opt/Android/Sdk.
Clique na caixa de seleção Tool Locations e clique em Add. No menu suspenso Nome, selecione o nome da instância do SDK do Google Cloud que você adicionou na configuração da ferramenta global.
No campo Início, insira o local do SDK do Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.

Adicionar as credenciais da sua conta de serviço ao Jenkins

Agora você adiciona as credenciais da conta de serviço da CLI do gcloud ao Jenkins para que ele possa autenticar e executar comandos da CLI do gcloud.

No painel do Jenkins, clique em Manage Jenkins e em Manage Credentials.
Na seção Lojas com escopo para Jenkins, clique no link de domínio (global) e depois em Adicionar credenciais.
No menu suspenso Tipo, selecione Conta de serviço do Google da chave privada.
No campo Project Name, insira o nome do projeto do Firebase.
Selecione Chave JSON, clique em Procurar e navegue até o local em que você salvou a chave da conta de serviço.
Clique em Criar.

Agora está tudo pronto para configurar o build automatizado do Jenkins para o Test Lab.

4. Executar testes do Test Lab com a CI do Jenkins

Agora que você configurou o Jenkins, vamos unir tudo e executar o mesmo teste com o Jenkins.

É possível configurar o Jenkins para executar versões automatizadas e testes sempre que houver inserções de atualização no app. Você também pode configurar o Jenkins para executar builds periodicamente. Para saber mais sobre como configurar builds no Jenkins, consulte Como configurar builds automáticos.

Criar e configurar seu projeto do Jenkins

Crie um projeto para executar testes de integração contínua do seu app com o Test Lab.

Criar um projeto do Jenkins

Abra o painel do Jenkins navegando até http://localhost:8080.
No painel do Jenkins, clique em New Item.
Insira um nome no campo Item name e clique em Freestyle project para criar um projeto que usa uma única configuração de build.
Clique em OK. Para concluir as configurações do projeto, complete as seções restantes em sequência.

Configurar o gerenciamento de código-fonte

Na guia Gerenciamento de código-fonte, selecione Git.
Insira https://github.com/android/testing-samples.git no campo URL do repositório.

Configurar o ambiente de build

A seção "Ambiente de build" permite configurar as características do build. Ative a autenticação do Google Cloud seguindo estas etapas:

Na guia Ambiente de build, marque a caixa de seleção Autenticação do SDK do GCloud e selecione o nome da instalação que você escolheu ao adicionar as informações de instalação do Google Cloud.
No menu suspenso Google Credentials, selecione as credenciais da conta de serviço que você configurou.

Adicionar etapas de build do Gradle para recriar pacotes de APK

Role para baixo até a seção Build, clique em Add build step e selecione Execute shell.
Adicione uma etapa de build para executar os seguintes comandos no diretório principal do app:

cd ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Adicionar uma etapa de versão da CLI gcloud ao Jenkins

Agora você pode adicionar uma etapa de build ao Jenkins para executar o Test Lab usando a linha de comando da CLI gcloud.

Para adicionar a etapa de build da CLI gcloud, adicione uma nova etapa de build Execute shell e digite o seguinte comando:

gcloud config set project PROJECT_ID
gcloud firebase test android run \
--app ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/debug/app-debug.apk
--test ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Depois de concluir a configuração do projeto, role até a parte inferior da página e salve a configuração. Você será redirecionado para a página inicial do novo projeto.

Executar testes com o Jenkins

Agora você está pronto para criar o projeto Jenkins e executar um teste como o manual que você executou com a CLI gcloud.

Para executar um teste com o Jenkins, siga estas etapas:

Para acionar a build manualmente, clique em Build Now.
Verifique o progresso e os resultados clicando no novo build > Saída do console.

Caso não encontre erros, parabéns. Você configurou um projeto e fez um teste em um dispositivo Pixel 2 com apenas um clique. Se você encontrar erros, consulte Solução de problemas.

5. Práticas recomendadas avançadas para executar pacotes de testes grandes

Quando você quiser executar muitos testes simultaneamente, siga estas práticas recomendadas para garantir que os testes sejam executados de maneira rápida e confiável.

Aumente a cobertura em várias configurações de dispositivo

É fácil adicionar vários dispositivos à etapa de build da gcloud CLI. Você pode verificar e escolher os dispositivos, versões, localidades e orientações disponíveis. Por exemplo, o comando a seguir executa testes em dois dispositivos:

Um Google Pixel 2 virtual com o nível 30 da API na orientação retrato e na localidade em inglês.
Um Samsung Galaxy S20 físico com o nível 29 da API na orientação paisagem e a localidade francesa

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --device model=Pixel2,version=30,locale=en,orientation=portrait  \
  --device model=x1q,version=29,locale=fr,orientation=landscape

Usar um arquivo de configuração YAML da CLI gcloud

Se preferir gerenciar os argumentos em um só lugar ou com o sistema de controle de origem, especifique-os em um arquivo de argumentos com formato YAML. Para saber como usar esse recurso, execute gcloud topic arg-files.

Fragmentar testes para execução em paralelo

A fragmentação de testes divide um conjunto de testes em subgrupos (fragmentos) que são executados separadamente e isolados. O Test Lab executa automaticamente cada fragmento em paralelo usando vários dispositivos, o que permite que ele conclua todo o conjunto de testes mais rapidamente. Para mais informações, consulte Ativar o sharding.

Para ativar a fragmentação, use o canal gcloud beta e adicione a sinalização –num-uniform-shards ou –test-targets-for-shard à etapa de build da CLI da gcloud. Por exemplo, para dividir os testes em cinco execuções e executar em paralelo, execute os seguintes comandos:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-uniform-shards 5

Ativar a detecção de inconsistência

Os testes móveis geralmente podem ser instáveis. Às vezes, os testes são aprovados, e outras vezes podem ser reprovados, mesmo com a mesma configuração. É possível detectar se um teste com falha foi instável usando a flag da CLI gcloud –num-flaky-test-attempts. Essa flag especifica o número de vezes que uma execução de teste precisa ser repetida se um ou mais casos de teste falharem por qualquer motivo.

Por exemplo, para executar novamente casos de teste com falha mais três vezes após a execução inicial com falha, especifique o seguinte:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-flaky-test-attempts 3

6. Parabéns

Parabéns! Você executou seu primeiro teste do Test Lab com um sistema de CI.

Você criou um app e APKs de teste e executou um teste de instrumentação com o Test Lab usando a CLI gcloud. Você também vai configurar um projeto do Jenkins para automatizar o mesmo teste.

Agora você conhece as principais etapas para integrar o Test Lab ao seu sistema de CI/CD.

A seguir

Confira Como configurar a CI usando o Pacote de emuladores do Firebase.