gcloud CLI でテストを開始する

このガイドでは、gcloud CLI を使用してインストルメンテーションテスト、Robo テスト、ゲームループテストを行う方法について説明します。

Test Lab で Android アプリに使用できる gcloud コマンドの一覧については、gcloud firebase test android のリファレンスドキュメントをご覧ください。

始める前に

まだ Firebase を Android プロジェクトに追加していない場合は追加します。

ステップ 1. gcloud CLI を設定する

Google Cloud SDK をダウンロードします。

これには gcloud CLI ツールが含まれます。

インストールが最新であることを確認します。
```
gcloud components update
```
Google アカウントを使用して gcloud CLI にログインします。
```
gcloud auth login
```
gcloud で Firebase プロジェクトを設定します。PROJECT_ID は Firebase プロジェクトの ID です。
```
gcloud config set project PROJECT_ID
```

ステップ 2. 利用可能なテストデバイスを確認する

以下の gcloud コマンドを使用して、テストで利用可能なテストデバイスとロケールを確認します。

オプションとして、サンプルの Notepad アプリをダウンロードして、コマンドの実行をすぐに開始することもできます。バイナリファイル app-debug-unaligned.apk とインストルメンテーションテストファイル app-debug-test-unaligned.apk を使用してください。これらは NotePad/app/build/outputs/apk/ にあります。

models list: テストで利用可能な Android デバイスの最新のリストを取得します。
```
gcloud firebase test android models list
```
コマンド出力で:
- MODEL_ID 列には、後でデバイスモデルでのテストで使用する識別子が含まれています。
- OS_VERSION_ID 列には、デバイスがサポートするオペレーティングシステムのバージョンが含まれています。
出力例
models describe: 特定の Android MODEL_ID に関する詳細情報を取得します。
```
gcloud firebase test android models describe MODEL_ID
```
出力には、デバイスモデルのブランド、メーカー、OS バージョン、サポートされている API レベル、サポートされているアプリケーションバイナリインターフェース（ABI）、リリース日、デバイスが物理か仮想かの情報が含まれます。
versions list: 現在テストで利用可能な OS バージョンのリストを取得します。
```
gcloud firebase test android versions list
```
コマンド出力の最初の 2 つの列（OS_VERSION_ID と VERSION）に示されるいずれかの識別子を使用して、後で Android OS の特定のバージョンを使用してテストを行うことができます。テストで使用する Android OS バージョンを指定しない場合は、TAGS 列に示すデフォルトが使用されます。

出力例
locales list: テストで使用可能なロケールの最新のリストを取得します。
```
gcloud firebase test android versions list
```
コマンド出力の最初の列（LOCALE）には、後でロケールのテストに使用できる識別子が含まれます。テストで使用するロケールを指定しない場合は、デフォルトのロケールとして英語が使用されます。

ステップ 3. テストを実行する

アプリのテストに使用できるデバイスモデル、ロケール、OS バージョンの範囲がわかったので、gcloud firebase test android run コマンドと --device フラグを使用して、Robo テストまたはインストルメンテーションテストを行うデバイスを指定できます。

Robo テストの実行

インストルメンテーションテストがない場合でも、アプリのバグを探すことができます。Robo テストを使用するとアプリのユーザーインターフェースを自動的に確認できます。Robo テストは、アプリのユーザーインターフェースを通してさまざまなパスの静的分析を実行してからアプリをクロールすることによって、クラッシュなどの問題の可能性がないかどうかを検出します。

Robo テストを実行するには、次のサンプルコマンドを実行します。

gcloud firebase test android run \
  --type robo \
  --app app-debug-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape \
  --timeout 90s \
  --client-details matrixLabel="Example matrix label"

--type 値が指定されない場合、--type robo パラメータが暗黙のうちに適用されます。
Firebase コンソールでテストマトリックスを見つけやすくするために、テストマトリックスにラベルを付けるには、オプションの --client-details matrixLabel="Example matrix label" フラグを使用します。
「gcloud help firebase test android run」を入力すると、テストを実行するためのコマンドラインオプションをすべて表示できます。

コマンドラインにこれらの引数を指定する代わりに、オプションで YAML 形式の引数ファイルに引数を指定することができます。gcloud topic arg-files を実行すると、この機能の使用方法を確認できます。

Robo テストのテスト結果を調べる方法については、テスト結果を分析するをご覧ください。

インストルメンテーションテストの実行

次に、gcloud コマンドラインツールを使用して、特定の Android デバイス構成で Notepad アプリの Espresso テストを実行します。次のように instrumentation テストタイプを使用して app-debug-test-unaligned.apk でテストを行います。

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug-unaligned.apk \
  --test app-debug-test-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape
  --client-details matrixLabel="Example matrix label"

--test でテスト APK が指定された場合、--type インストルメンテーションパラメータが暗黙のうちに指定されます。
Firebase コンソールでテストマトリックスを見つけやすくするために、テストマトリックスにラベルを付けるには、オプションの --client-details matrixLabel="Example matrix label" フラグを使用します。
「gcloud help firebase test android run」を入力すると、テストを実行するためのコマンドラインオプションをすべて表示できます。

gcloud CLI では、Android Test Orchestrator がサポートされています。Orchestrator には AndroidJUnitRunner v1.1 以降が必要です。これを有効にするには、gcloud firebase test android run に
--use-orchestrator フラグを指定します。無効にするには、--no-use-orchestrator フラグを使用します。

上記以外の追加のフラグを使用して、Test Lab がインストルメンテーションテストを実行する方法を制御することもできます。たとえば、--test-targets フラグを使用すると、テスト APK で使用する 1 つのクラスまたはクラスメソッドをテストできます。また、--num-flaky-test-attempts フラグを使用すると、失敗したテストが不安定だったのかどうかを確認できます。このフラグには、1 つ以上のテストケースがなんらかの理由で失敗した場合にテスト実行を再試行する回数を指定します。詳しくは、gcloud firebase test android run をご覧ください。

インストルメンテーションテストのコードカバレッジレポート

Test Lab は、コードカバレッジレポートツールの EMMA と JaCoCo をサポートしています。いずれかのツールがアプリのビルドに統合されている場合は、追加の引数を指定して gcloud firebase test android run を実行すると、Test Lab テストのコードカバレッジレポートを取得できます。Android Test Orchestrator が有効になっていない場合は、次のように使用します。

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \
  --directories-to-pull /sdcard/Download

Android Test Orchestrator を使用しているときにコードカバレッジレポートを生成する場合は、環境変数を次のように変更します。

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \
  --directories-to-pull /sdcard/Download

Test Lab でテストの実行が終了したら、Google Cloud Storage 内でコードカバレッジレポートを探します。

gcloud ツールによってテスト結果表の上に出力された Firebase コンソールリンクをターミナルで開きます。
このリンク先のリストからテスト実行をクリックして、実行の詳細ページを開きます。
[テスト結果] をクリックして、この実行のテスト結果が含まれている Cloud Storage バケットに移動します。
artifacts/coverage.ec を開いて、コードカバレッジレポートを表示します。

テスト結果を分析する

数分後に gcloud ツールによってテスト結果の基本サマリーが表示されます。

コマンドテストの結果

コマンドラインテストの出力には、テスト結果を表示するためのリンクも含まれます。これらの結果の解釈方法については、Firebase Test Lab for Android の結果を分析するをご覧ください。

Robo テストでのカスタムログインとテキスト入力

Robo テストでは、--no-auto-google-login パラメータを使用しない限り、Google アカウントのログイン画面に認証情報が自動的に入力されます。カスタムログイン画面を使用してテストアカウントの認証情報を入力することもできます。また、このパラメータを使用して、アプリの他のテキストフィールドにカスタムテキストを入力することもできます。

アプリのテキストフィールドに入力するには、--robo-directives パラメータを使用し、key-value ペアのカンマ区切りのリストを指定します。key は対象となる UI 要素の Android リソース名、value はテキスト文字列です。このフラグを使用して、特定の UI 要素を無視するように Robo に指示できます（例:"logout" ボタンなど）。EditText のフィールドには対応していますが、WebView の UI 要素に含まれるテキストフィールドには対応していません。

たとえば、カスタムログインに次のパラメータを使用できます。

--robo-directives username_resource=username,password_resource=password

使用可能なコマンドとフラグ

Test Lab gcloud CLI のコマンドとフラグを使用すると、異なる仕様のテストを行うことができます。

Android Test Orchestrator フラグ: Orchestrator を有効にするためのフラグです。Orchestrator は、アプリのテストごとに Instrumentation を呼び出して、各テストを実行できるツールです。Test Lab では、常に Orchestrator の最新バージョンを実行します。
ゲームループテストフラグ: ゲームアプリでプレーヤーの動作をシミュレートする「デモモード」を有効にして制御する一連の構成フラグ。詳しくは、Test Lab でゲームループテストを行うをご覧ください。
均一シャーディングフラグ（ベータ版）: テストケースを均等に配信するためのシャード数を指定するフラグ。シャードは別々のデバイスで並行して実行されます。
注: 物理デバイスの上限は、Arm 仮想デバイスでは 50、100、x86 仮想デバイスでは 500 です。これは、手動シャーディングフラグにも当てはまります。
手動シャーディングフラグ（ベータ版）: シャード（テストケースのグループ）で実行するパッケージ、クラス、テストケースのグループを指定するフラグです。シャードは別々のデバイスで並行して実行されます。
ネットワークトラフィックプロファイルフラグ（ベータ版）: テスト中に物理デバイスで使用するネットワークプロファイルを指定するフラグです。ネットワークプロファイルによってさまざまなネットワーク条件がエミュレートされるため、信頼できないネットワークや予測不可能なネットワークでのアプリのパフォーマンスをテストすることができます。

Test Lab で gcloud コマンドのスクリプトを作成する

シェルスクリプトまたはバッチファイルを使用してモバイルアプリのテストコマンドを自動化することができます。自動化しない場合は gcloud コマンドラインを使用して実行します。次の bash スクリプトの例では、インストルメンテーションテストをタイムアウト 2 分で実行し、テストが正常に完了したかどうかを報告します。

if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

スクリプト終了コード

Test Lab にはいくつかの終了コードが用意されており、スクリプトまたはバッチファイルを使用して実行したテストの結果を詳細に把握することができます。

Test Lab のスクリプト終了コード

終了コード	説明
0	すべてのテスト実行が成功しました。
1	一般的なエラーが発生しました。ファイル名が存在しないか HTTP エラーやネットワークエラーの可能性があります。
2	不明なコマンドまたは引数が指定されたため、テストが終了しました。
10	テスト実行内の 1 つ以上のテストケース（テストしたクラスまたはクラスメソッド）が成功しませんでした。
15	テストマトリックスが成功したのか、または予期しないエラーで失敗したのかを Firebase Test Lab が判断できませんでした。
18	このテスト実行のテスト環境は、テストディメンションに互換性がないためサポートされません。このエラーは、選択した Android API レベルが、選択したデバイスタイプでサポートされない場合に発生することがあります。
19	ユーザーがテストマトリックスをキャンセルしました。
20	テストインフラストラクチャでエラーが発生しました。