テスト結果を分析する

Firebase コンソールFirebase CLI のどちらでテストを実行した場合でも、Firebase コンソールで詳細なテスト結果を確認できます。テスト結果の分析方法については、こちらをお読みください。

テスト結果を表示する

テストをアップロードまたは選択してテストデバイスを指定すると、Firebase コンソールの Test Lab ダッシュボードでテスト結果の概要(ログ、動画、スクリーンショットなど)を表示できます。また、未加工のテスト結果も Google Cloud バケットに保存され、CI システムで簡単に使用できます。

テスト結果を確認するには、Firebase コンソールの [Test Lab] セクションに移動します。

これまでに実行したすべてのテストのリストが表示されます。結果を理解するには、テスト マトリックスについて少し知識があると役立ちます。選択したデバイスと構成に対してテストまたは一連のテストケースを実行する際は、Test Lab がアプリに対するテストを一括で実行し、その結果をテスト マトリックスとして表示します。

デバイス × テスト実行 = テスト マトリックス

デバイス
スマートフォン、タブレット、ウェアラブル デバイスなど、テストを実行する実機または仮想デバイス(Android のみ)。テスト マトリックス内のデバイスは、デバイスモデル、OS のバージョン、画面の向き、ロケール(地域や言語の設定とも呼ばれます)で識別されます。
テスト、テスト実行
デバイス上で実行するテスト(または一連のテストケース)。テストは、デバイスごとに 1 つ実行するか、必要に応じてシャーディングし、そのテストケースを複数のデバイスで実行できます。
テスト マトリックス
テストの実行状況とテスト結果が含まれます。マトリックス内のいずれかのテスト実行が失敗すると、マトリックス全体が失敗となります。

テスト マトリックスの結果の見方

Firebase コンソールでテストを開始すると、Test Lab によって進行中のテスト マトリックスがすぐに表示され、テストの進捗状況を逐次確認できます。コマンドライン ツールを使用した場合は、提示される URL にアクセスして、進行中のテスト マトリックス ページを表示できます。

マトリックスには、Test Lab によって実行されるテストごとに行があります。名前の前に表示されるアイコンは、実行のステータスを表しています。

  • play_circle_outline 進行中: テスト実行はまだ進行中です。アプリのテスト数と複雑さによっては、完了するまで最大 1 時間かかる場合があります。
  • check_circle 成功: 失敗したテスト実行はありません。
  • warning 失敗: 1 つ以上のテスト実行が失敗しました。
  • error 不確定: テスト結果が不確定です。Test Lab のエラーが原因である可能性があります。
  • block スキップ: 選択したデバイスと OS バージョンの組み合わせが使用できないため、Test Lab でテストがスキップされました。

1 回のテスト実行結果の解釈

テスト マトリックス結果ページでいずれかのテスト実行をクリックすると、そのテストの結果が表示されます。

このページには、テストで発生した問題、テストケースのリスト、実行ログ、テスト実行の動画など、テストの統計情報が表示されます。

詳細なテスト結果

詳細なテスト結果は、Google Cloud Storage バケットで 90 日間使用できます。テスト実行結果ページで [ソースファイルを表示] をクリックすると、バケットが表示されます。

詳細なテスト結果を 90 日より長く保持するには、--results-bucket gcloud コマンドライン オプションを使用して、ご自身で所有する保存期間の長い Cloud Storage バケットにそのテスト結果を送信します。その後、保存期間の設定を行って、結果を Cloud Storage バケットに保存する期間を設定します。保存期間の設定を変更する方法については、ライフサイクルの条件をご覧ください。