Esta página foi traduzida pela API Cloud Translation.

Integrar o Test Lab ao seu sistema de CI/CD

1. Introdução

Última atualização:07/04/2022

Como executar testes de dispositivos móveis com sistemas CI/CD

Executar testes em dispositivos móveis pode ser difícil: muitos apps são executados em diferentes plataformas, dispositivos e versões da API. Os desenvolvedores de apps querem testar o máximo possível de configurações para detectar problemas antes dos usuários. No entanto, as restrições de custo e recursos limitam o número de dispositivos de teste e a quantidade de manutenção manual em que os desenvolvedores individuais podem investir. Quando o processo de desenvolvimento é escalonado verticalmente, especialmente para sistemas de integração contínua/desenvolvimento contínuo (CI/CD), o processo de teste precisa ser automatizado, minimizando o custo e o esforço de manutenção.

Para ajudar você a entender o desempenho dos apps nos dispositivos dos usuários, o Firebase Test Lab hospeda uma variedade de dispositivos móveis físicos e virtuais nos nossos data centers. Também fornecemos a CLI do Google Cloud, uma ferramenta de linha de comando independente de plataforma que orquestra a execução de testes nos dispositivos dos nossos data centers. A CLI gcloud simplifica a integração da solução de testes baseada na nuvem do Test Lab aos fluxos de trabalho de CI/CD.

Suporte multiplataformas

O Test Lab oferece soluções de testes para apps Android e iOS e suporte especializado em jogos para dispositivos móveis, como o Unity. As opções de teste abrangem estruturas de teste conhecidas, como Android Espresso, UI Automator e iOS XCTest. Com nosso rastreador automatizado, o Robo, o Test Lab pode até mesmo executar testes sem nenhum código de teste.

Nenhum requisito de hardware

O Test Lab hospeda dispositivos físicos nos data centers do Google e hospeda dispositivos virtuais no Google Cloud. Basta enviar seus testes para o Test Lab e aguardar os resultados.

Rapidez e confiança

A execução de muitos casos de teste simultâneos pode levar muito tempo, bloqueando os processos de CI/CD. Com o Test Lab, é fácil fragmentar testes e executá-los em vários dispositivos em paralelo. Você também pode detectar a inconsistência, um ponto problemático comum nos testes móveis.

Conteúdo

Como criar artefatos de teste
Como executar um teste de dispositivo móvel usando a CLI gcloud
Como configurar a CI do Jenkins
Como executar testes de dispositivos móveis usando a CI do Jenkins
Como configurar testes para escalonar verticalmente com sistemas de CI

O foco deste codelab é a execução de testes. Conceitos e blocos de códigos sem relevância não serão abordados. Eles são incluídos somente para você copiar e colar.

Pré-requisitos

Se você preferir criar do zero, precisará do Android Studio para executar um teste do Android ou do XCode para executar um teste do iOS. Você também pode trazer você e receber os artefatos.

2. Executar um teste com a CLI gcloud

Criar um APK de app Android e testar um APK

Para executar um teste com o Test Lab, comece criando um APK de app Android e um APK de teste que contenha testes instrumentados para execução em dispositivos de hardware ou emuladores. Se você já tem uma base de código funcional, crie seus próprios APKs ou use o BasicSample for Espresso.

Para criar APKs usando comandos do Gradle, você precisa instalar o SDK do Android. Se o Android Studio não estiver instalado na máquina, instale o Android Studio e o SDK do Android e defina o ambiente ANDROID_HOME com o diretório do SDK do Android. Por exemplo, no arquivo ~/.bash_profile, adicione a seguinte linha:

export ANDROID_HOME=~/Android/Sdk # For linux
export ANDROID_HOME=~/Library/Android/sdk  # For MacOS

Em seguida, execute os seguintes comandos para clonar o código e criar APKs:

git clone https://github.com/android/testing-samples.git
cd testing-samples/ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Depois de executar os comandos clone e build, você pode encontrar o APK do app e o APK de teste nos seguintes locais:

app/build/outputs/apk/debug/app-debug.apk
app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Como alternativa, você pode usar as seguintes opções para fazer o download dos testes e dos APKs do app:

Para criar APKs no Android Studio, siga as instruções em Testar no Android Studio.
Faça o download do app Notepad de exemplo. Use o arquivo binário app-debug-unaligned.apk e o arquivo de testes de instrumentação app-debug-test-unaligned.apk, que estão localizados em NotePad/app/build/outputs/apk/.

Se você tiver um código-fonte em funcionamento para um app iOS, poderá programar um XCTest e criar um arquivo ZIP usando o app e os testes.

Use a CLI gcloud para executar um teste com o Test Lab

Nesta seção, você vai criar um projeto do Firebase e configurar o ambiente local do SDK Google Cloud. Para saber mais, consulte Iniciar testes com a CLI gcloud .

Configurar a CLI gcloud

Baixe o SDK do Google Cloud, que inclui a ferramenta CLI gcloud.
Verifique se a instalação está atualizada:

gcloud components update

Faça login na CLI gcloud usando sua Conta do Google:

gcloud auth login

Defina seu projeto do Firebase na CLI gcloud, em que PROJECT_ID é o ID do projeto do Firebase. É possível encontrar o ID do projeto no URL do Console do Firebase, que segue esta convenção de nomenclatura: https://console.firebase.google.com/project/[PROJECT_ID]/...

gcloud config set project PROJECT_ID

Se você não tiver um projeto do Firebase, crie um no Console do Firebase.

Executar um teste usando os APKs criados

Nesta seção, você vai executar um teste de instrumentação no dispositivo padrão do Test Lab, que é o Pixel 3 com o nível 28 da API. Se quiser usar um dispositivo diferente, verifique os dispositivos disponíveis.

Usando o app e os APKs de teste que você criou em "Criar um APK de app Android" e "Testar o APK", execute um teste de instrumentação Android usando o seguinte comando:

gcloud firebase test android run \
  --type instrumentation \
  --app app/build/outputs/apk/debug/app-debug.apk \
  --test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Analisar os resultados do teste

Você pode analisar os resultados do teste usando qualquer uma das seguintes opções:

gcloud resumo: quando o teste é concluído, a CLI gcloud imprime um resumo básico dos resultados do teste.
gcloud código de saída: após a conclusão do teste, o comando sai com 0 se o teste for aprovado. Se o teste falhar, o comando sairá com um código de saída diferente de zero.
Console do Firebase: a CLI gcloud imprime um link para o Console do Firebase. O link segue a convenção de nomenclatura https://console.firebase.google.com/project/PROJECT_ID/testlab/.... Para saber mais, consulte Interpretar os resultados de uma única execução de teste.
Arquivo JUnit XML: a CLI gcloud imprime o seguinte:

Raw results will be stored in your Cloud Storage bucket at [https://console.developers.google.com/storage/browser/test-lab-xxxxx/xxxxx/]

test-lab-xxxxx/xxxxx é o bucket do Cloud Storage que armazena artefatos e resultados de teste. Para localizar o arquivo XML do JUnit que contém os resultados do teste, abra o link e navegue até blueline-28-en-portrait/test_result_1.xml.

3. Configurar com a CI do Jenkins

Nesta seção, você usará a CI do Jenkins, um sistema conhecido de CI, para executar testes com o Test Lab. Se você quiser usar um sistema de CI diferente, consulte as práticas recomendadas avançadas para executar grandes pacotes de testes e a documentação de outros sistemas de CI, como Bitrise e Circle CI. É possível usar o Flank como alternativa à CLI gcloud.

Ativar a CLI gcloud para Jenkins

Antes de usar o Test Lab com o Jenkins, você precisa ativar as APIs necessárias e configurar uma conta de serviço que o Jenkins possa usar para autenticar com a CLI gcloud.

Adicionar uma conta de serviço do Google Cloud para o Jenkins

Contas de serviço são contas limitadas destinadas a integrações de serviços. Essas contas oferecem um controle refinado para serviços específicos e não estão sujeitas a verificações de spam ou solicitações captcha, o que poderia bloquear seus builds de CI.

Para criar uma conta de serviço, siga estas etapas:

Abra a página Contas de serviço no console do Google Cloud.
Clique em Criar conta de serviço, adicione um Nome, uma Descrição e clique em Criar e continuar.
No menu suspenso Selecionar papel, clique em Básico e depois em Editor.
Clique em Continuar e em Concluído.

Crie e faça o download de uma chave de autenticação que o Jenkins poderá usar para se autenticar como a conta de serviço criada.

Para criar e fazer o download da chave da conta de serviço, siga estas etapas:

Na página Contas de serviço no console do Google Cloud, clique no e-mail associado à conta que você criou.
Selecione Chaves e clique em Adicionar chave e Criar nova chave.
Selecione JSON e clique em Criar.
Quando for solicitado que você faça o download do arquivo, clique em OK. Faça o download do arquivo em um local seguro no computador. Você vai precisar desse arquivo mais tarde ao configurar o Jenkins.

Para saber mais sobre como criar contas de serviço, consulte Como criar uma conta de serviço.

Ativar as APIs necessárias do Google Cloud

A API Cloud Testing permite executar testes na infraestrutura do Google. Você ativou essa API quando concluiu Executar um teste com a CLI gcloud. Com a API Cloud Tool Results, você pode acessar os resultados do teste de maneira programática.

Abra a Biblioteca de APIs do Google Developers Console.
Na barra de pesquisa na parte de cima do Console do Firebase, digite o nome de cada API necessária ( API Cloud Testing e API Cloud Tool Results). A página de visão geral da API solicitada é exibida.
Clique em Ativar API na página de visão geral de cada API.

Instalar e configurar o Jenkins

É possível instalar e configurar a CI do Jenkins no Linux, macOS, Windows e em muitos outros ambientes. Alguns detalhes deste codelab são específicos para a instalação e execução da CI do Jenkins no Linux, incluindo o uso de barras (/) nos caminhos de arquivos.

Para fazer o download e instalar o Jenkins em um computador com Linux ou Windows, siga as instruções para instalar o Jenkins. Depois de instalar o Jenkins, siga as mesmas instruções de instalação do Jenkins para concluir a configuração e acessar o painel do Jenkins usando http://localhost:8080.

Verificar os plug-ins instalados

O Jenkins oferece suporte a diferentes sistemas de controle de versões. Neste codelab, você vai usar o Git para executar o teste anterior. Para ter uma experiência melhor ao executar a CLI gcloud, você precisa instalar o plug-in do SDK do GCloud.

No painel do Jenkins, clique em Manage Jenkins e depois em Manage Plugins.
Procure os plug-ins do Git e do SDK do Cloud e instale-os, caso ainda não estejam.

Configurar o local dos SDKs do Android e do Google Cloud

Agora você vai instruir o Jenkins sobre onde encontrar o SDK Google Cloud e o SDK do Android.

Para configurar os SDKs do Google Cloud e do Android para o Jenkins, siga estas etapas:

No painel do Jenkins, clique em Manage Jenkins e, em seguida, clique em Global Tool Configuration.
Na seção SDK Google Cloud, clique em Adicionar SDK Google Cloud.
No campo Name, digite um nome para a instância do SDK Google Cloud que seja fácil de lembrar, por exemplo, GCloud-SDK.
Insira seu diretório inicial do SDK Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.
Para configurar as propriedades do sistema para os SDKs do Android e do Google Cloud, abra Painel > Gerenciar Jenkins > Configurar sistema.
Marque a caixa de seleção Variáveis de ambiente e clique em Adicionar.
No campo Nome, digite ANDROID_HOME. No campo Value, insira a localização do SDK do Android, por exemplo, /opt/Android/Sdk.
Clique na caixa de seleção Tool Locations e clique em Add. No menu suspenso Name, selecione o nome da instância do SDK Google Cloud que você adicionou em "Global Tool Configuration".
No campo Home, insira a localização do SDK Google Cloud, por exemplo, /opt/google-cloud-sdk.
Clique em Salvar.

Adicionar as credenciais da sua conta de serviço ao Jenkins

Agora adicione as credenciais da conta de serviço da CLI gcloud ao Jenkins para que ele possa autenticar e executar os comandos da CLI gcloud.

No painel do Jenkins, clique em Manage Jenkins e depois em Manage Credentials.
Na seção Lojas com escopo para Jenkins, clique no link de domínio (global) e depois em Adicionar credenciais.
No menu suspenso Tipo, selecione Conta de serviço do Google da chave privada.
No campo Nome do projeto, insira o nome do projeto do Firebase.
Selecione JSON key, clique em Browse e vá até o local onde você salvou a chave da conta de serviço.
Clique em Criar.

Agora está tudo pronto para configurar o build automatizado do Jenkins para o Test Lab.

4. Executar testes do Test Lab com a CI do Jenkins

Agora que você configurou o Jenkins, vamos unir tudo e executar o mesmo teste com o Jenkins.

Você pode configurar o Jenkins para executar builds automatizados e executar testes sempre que houver atualizações no seu app. Você também pode configurar o Jenkins para executar builds periodicamente. Para saber mais sobre como configurar builds no Jenkins, consulte Como configurar builds automáticos.

Criar e configurar seu projeto do Jenkins

Crie um projeto para executar testes de integração contínua do seu app com o Test Lab.

Criar um projeto do Jenkins

Abra o painel do Jenkins navegando até http://localhost:8080.
No painel do Jenkins, clique em New Item.
Digite um nome para seu projeto no campo Item name e clique em Freestyle project para criar um projeto que usa uma única configuração de build.
Clique em OK. Para concluir as configurações do projeto, complete as seções restantes em sequência.

Configurar o gerenciamento do código-fonte

Na guia Gerenciamento de código-fonte, selecione Git.
Digite https://github.com/android/testing-samples.git no campo URL do repositório.

Configurar o ambiente de build

A seção "Ambiente de build" permite configurar as características do build. Ative a autenticação do Google Cloud seguindo estas etapas:

Na guia Build Environment, marque a caixa de seleção GCloud SDK authentication e selecione o nome da instalação que você escolheu quando adicionou as informações de instalação do Google Cloud.
No menu suspenso Credenciais do Google, selecione as credenciais da conta de serviço que você configurou.

Adicionar etapas de build do Gradle para recriar pacotes de APK

Role para baixo até a seção Build, clique em Add build step e selecione Execute shell.
Adicione uma etapa de versão para executar os seguintes comandos no diretório principal do seu aplicativo:

cd ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

Adicionar uma etapa de versão da CLI gcloud ao Jenkins

Agora você pode adicionar uma etapa de versão ao Jenkins para executar o Test Lab com a linha de comando da CLI gcloud.

Para adicionar a etapa de build da CLI gcloud, adicione uma nova etapa de build Execute shell e digite o seguinte comando:

gcloud config set project PROJECT_ID
gcloud firebase test android run \
--app ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/debug/app-debug.apk
--test ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

Depois de concluir a configuração do projeto, role até a parte inferior da página e salve a configuração. Você será redirecionado para a página inicial do novo projeto.

Executar testes com o Jenkins

Agora você já pode criar o projeto do Jenkins e executar um teste como o teste manual feito com a CLI gcloud.

Para executar um teste com o Jenkins, siga estas etapas:

Para acionar o build manualmente, clique em Build Now.
Verifique o progresso e os resultados clicando no novo build > Console Output.

Caso não encontre erros, parabéns. Você configurou um projeto e fez um teste em um dispositivo Pixel 2 com apenas um clique. Se você encontrar erros, consulte Solução de problemas.

5. Práticas recomendadas avançadas para executar grandes conjuntos de testes

Quando você quiser executar muitos testes simultâneos, siga estas práticas recomendadas para garantir que seus testes sejam executados de forma rápida e confiável.

Aumente a cobertura em várias configurações de dispositivo

É fácil adicionar vários dispositivos à etapa de build da gcloud CLI. E você pode verificar e escolher dispositivos, versões, localidades e orientações disponíveis. Por exemplo, o comando a seguir executa testes em dois dispositivos:

Um Google Pixel 2 virtual com o nível 30 da API na orientação retrato e na localidade em inglês.
Um Samsung Galaxy S20 físico com o nível 29 da API na orientação paisagem e na localidade francesa.

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --device model=Pixel2,version=30,locale=en,orientation=portrait  \
  --device model=x1q,version=29,locale=fr,orientation=landscape

Usar um arquivo de configuração YAML da CLI gcloud

Se preferir gerenciar os argumentos em um só lugar ou com o sistema de controle de origem, especifique-os em um arquivo de argumentos com formato YAML. Para aprender a usar esse recurso, execute gcloud topic arg-files.

Fragmentar testes para execução em paralelo

A fragmentação de testes divide um conjunto de testes em subgrupos (fragmentos) que são executados separadamente e de forma isolada. O Test Lab executa automaticamente cada fragmento em paralelo usando vários dispositivos, o que permite que ele conclua todo o conjunto de testes mais rapidamente. Para mais informações, consulte Ativar fragmentação.

Para ativar a fragmentação, use o canal gcloud beta e adicione a sinalização –num-uniform-shards ou –test-targets-for-shard à etapa de build da CLI da gcloud. Por exemplo, para fragmentar seus testes em cinco execuções e executá-los em paralelo, execute os seguintes comandos:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-uniform-shards 5

Ativar a detecção de inconsistência

Os testes com dispositivos móveis podem ser instáveis. Às vezes, os testes são aprovados ou podem falhar, mesmo com a mesma configuração. É possível detectar se um teste com falha estava instável usando a sinalização -num-flaky-test-attempts da gcloud CLI. Essa flag especifica o número de vezes que uma execução de teste precisa ser repetida se um ou mais casos de teste falharem por qualquer motivo.

Por exemplo, para executar novamente casos de teste com falha mais três vezes após a execução inicial com falha, especifique o seguinte:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-flaky-test-attempts 3

6. Parabéns

Parabéns! Você executou seu primeiro teste do Test Lab com um sistema de CI.

Você criou apps e APKs de teste e executou um teste de instrumentação com o Test Lab usando a CLI gcloud. Você também vai configurar um projeto do Jenkins para automatizar o mesmo teste.

Agora você conhece as principais etapas para integrar o Test Lab ao seu sistema de CI/CD.

A seguir

Confira Como configurar a CI usando o Pacote de emuladores do Firebase.