Firebase Test Lab for Android の結果を分析する

Firebase Test Lab for Android を使って Android アプリをテストする場合は、Firebase console のコマンドライン インターフェースAndroid StudioTest Lab UI など、複数の方法を使用できます。どの方法でテストを開始しても、結果は指定した Firebase プロジェクトに保存されます。このページでは、テストの結果を確認し、分析する方法について説明します。

基本概念

これまでに実行したすべてのテストの結果を参照するには、Firebase console でプロジェクトの左側にあるナビゲーション パネルから [Test Lab] を選択します。このページには、Test Lab を使用してプロジェクトでテストしたアプリのすべてのテスト結果が表示されます。

テスト結果を確認するには、まず次の 3 つの概念を理解する必要があります。

  • テスト ディメンション。 テスト ディメンションは関連する端末属性のセットです。Test Lab で使用されるディメンションは、端末タイプ、Android API レベル、ロケール、画面の向きです。アプリをテストする前に、各ディメンションから属性を選択すると、選択した属性のすべての有効な組み合わせのリストが Test Lab によって作成されます。Test Lab では、一度に最大 200 の一意の組み合わせでアプリをテストできます。

  • テスト実行。テスト マトリックス用に選択したテスト ディメンションの有効な組み合わせのそれぞれがテスト実行です。たとえば、5 つの端末タイプ(Asus Google Nexus 7、LG G3、Samsung Galaxy Note 2 など)、2 つの Android API レベル(21、22)、2 つのロケール(en_US、es_ES)、2 つの画面の向き(横、縦)を選択した場合、テストには 5 x 2 x 2 x 2 = 40 のテスト実行が含まれます。各テスト実行の結果は成功または失敗のいずれかになります。1 つのテスト実行が失敗すると、テスト マトリックス全体が失敗になります。

  • テスト マトリックス。 テスト マトリックスは、選択したテスト ディメンション属性の組み合わせによって定義されるテスト実行のセットです。テスト マトリックスに対してアプリテストを実行すると、テスト ディメンション属性を組み合わせて作成した有効なテスト実行ごとにテスト結果が得られます。

以下のセクションでは、テスト結果に移動する方法について説明します。

テスト結果の履歴の見方

[Test Lab] を選択してテスト結果に移動すると、それまでに実行したテストの結果が表示されます。

テスト結果の履歴はアプリごとに分類され、アプリごとに直近の 5 つのテスト マトリックスのみが表示されます。6 つ以上ある場合は、アプリテスト リストの下部にある [すべてのマトリックス] リンクをクリックすると、そのアプリの一覧を表示できます。

テスト マトリックスの結果の見方

Test Lab UI からテストを開始すると、リダイレクトされたページにテスト マトリックスが表示され、特定のテスト実行をクリックしてテスト結果を表示することができます。Android Studiogcloud コマンドにもテスト マトリックス結果ページの URL が表示されます。

一般的なテスト マトリックスでは、十数種の端末に対してテストを実行できます。テスト実行ごとに異なる結果が得られます。テスト マトリックス内のテスト実行に対して得られる結果は次のとおりです。

  • 成功 テスト成功: 正常に終了しました。
  • 失敗 テスト失敗: 1 つ以上のエラーが発生しました。
  • 不確定 テスト成功: テスト結果が不確定です。Test Lab エラーの可能性があります。
  • スキップ テスト成功: マトリックス内の一部のテスト実行に対して選択したディメンション値に互換性がありません。選択した端末が、選択した Android API レベルの 1 つ以上と互換性がない場合に発生します。

Firebase プロジェクト内の特定のアプリの全テスト マトリックスについて集計されたテスト結果を確認するには、以下のテスト マトリックス結果ページの例に示すようにアプリの名前をクリックします。

4 つのテスト実行のみを含むテスト マトリックス結果ページの例 テスト マトリックスの結果

アプリのテスト マトリックス リストが表示され、テスト マトリックスの名前をクリックするとテスト マトリックスの結果が表示されます。アプリの名前(下の赤いボックス)をクリックすると、Firebase プロジェクトに関連する他のアプリのテスト マトリックス リストが表示されます。

テスト マトリックス リストページの例 テスト マトリックスのリスト

テスト マトリックスの結果は、成功、失敗、不確定のいずれかです。テスト マトリックス内のテスト実行が失敗した場合、または不確定の場合、テスト マトリックスは失敗または不確定と表示されます。

単一のテスト実行結果の見方

テスト マトリックス結果ページでテスト実行の 1 つをクリックすると、その特定のテスト実行の結果が表示されます。

テスト実行結果ページの例 テスト実行の結果

このページでは、テスト APK(インストゥルメンテーション テスト)内のメソッドに対応する特定のテストケースの結果を確認できます。また、テストログ、スクリーンショット、動画など、テスト結果の詳細を確認することもできます。Robo テストについては、詳細なテスト結果に、Robo テストで使用した UI パスをグラフィカルに示すアクティビティ マップも含まれています。

詳細なテスト結果は、テストを実行してから 90 日間使用でき、Google Cloud Storage(GCS)バケットに保存されます(ただし、Firebase console にも表示されます)。GCS バケットの詳細なテスト結果を表示するには、テスト実行結果ページで [ソースファイルを表示] をクリックします。詳細なテスト結果を使用できない場合でも、成功したテストと失敗したテストを確認することはできます。

詳細なテスト結果の保持

90 日間を超えて詳細なテスト結果を保持するには、--results-bucket gcloud コマンドライン オプションを使用して、ご自身で所有する GCS バケットにそのテスト結果を送信し、GCS バケットの保存期間の設定を変更します。保存期間の設定を変更する方法については、ライフサイクルの条件をご覧ください。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。