Анализ результатов теста

Независимо от того, запускаете ли вы свои тесты через консоль Firebase или интерфейс командной строки Firebase , вы можете найти подробные результаты тестов в консоли Firebase. Читайте дальше, чтобы узнать, как анализировать результаты теста.

Посмотреть результаты теста

После загрузки или выбора теста и указания тестовых устройств вы можете просмотреть сводку результатов теста (включая журналы, видео и снимки экрана) на панели инструментов Test Lab консоли Firebase. Необработанные результаты тестирования также хранятся в корзине Google Cloud для более удобного использования с системами CI.

Чтобы увидеть результаты тестирования, перейдите в раздел « Тестовая лаборатория » консоли Firebase .

Там вы найдете список всех ваших предыдущих тестовых прогонов. Чтобы понять результаты, полезно немного узнать о тестовых матрицах: когда вы запускаете тест или набор тестов для выбранных вами устройств и конфигураций, Test Lab запускает тест для вашего приложения в пакете, а затем отображает результаты в виде тестовой матрицы .

Устройства × количество тестов = матрица тестов

Устройство
Физическое или виртуальное устройство (только Android), на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, ориентации экрана и языковым настройкам (также известным как географические и языковые настройки).
Тест, выполнение теста
Тест (или набор тестовых случаев), который нужно запустить на устройстве. Вы можете запустить один тест на каждом устройстве или, при желании, разделить тест и запустить его тестовые сценарии на разных устройствах.
Тестовая матрица
Содержит статусы и результаты тестов для выполнения тестов. Если какое-либо выполнение теста в матрице завершается неудачно, вся матрица терпит неудачу.

Интерпретация результатов тестовой матрицы

Если вы запустите свои тесты в консоли Firebase, Test Lab перенесет вас прямо в матрицу текущих тестов, где вы сможете наблюдать за ходом своих тестов по мере их выполнения. Если вместо этого вы использовали инструмент командной строки, вы можете перейти по URL-адресу, который он предоставляет, чтобы перейти на страницу матрицы текущего теста.

В матрице есть строка для каждого выполнения теста Test Lab. Значок перед именем выполнения отображает статус этого выполнения:

  • play_circle_outline Выполняется : выполнение теста все еще выполняется. Выполнение может занять до часа, в зависимости от количества и сложности тестов в вашем приложении.
  • check_circle Пройдено: Ни один из тестов выполнения не прошел.
  • предупреждение Сбой: по крайней мере один из тестов выполнения не пройден.
  • error Неубедительно: результаты теста неубедительны, возможно, из-за ошибки лаборатории тестирования.
  • блок Пропущен: Тестовая лаборатория пропустила ваш тест, поскольку выбранная вами комбинация версии устройства/ОС недоступна.

Интерпретация результатов одного выполнения теста

На странице результатов тестовой матрицы щелкните одно из выполнений теста, чтобы увидеть результат выполнения этого конкретного теста.

На странице отображается статистика выполнения этого теста, включая проблемы, возникшие при тестировании, список тестовых случаев, журналы выполнения и видео выполнения теста.

Подробные результаты испытаний

Подробные результаты тестирования доступны в корзине Google Cloud Storage в течение 90 дней. Щелкните Просмотреть исходные файлы на странице результатов выполнения теста, чтобы просмотреть корзину.

Чтобы сохранить подробные результаты тестирования в течение более 90 дней, отправьте результаты тестирования в более постоянную корзину облачного хранилища, которой вы владеете, с помощью параметра командной строки --results-bucket gcloud . Затем вы можете установить параметр « Возраст », чтобы определить, как долго облачное хранилище хранит результаты. Дополнительные сведения об изменении параметра « Возраст » см. в разделе Условия жизненного цикла .