В Firebase Console можно посмотреть результаты всех предыдущих запусков тестирования. Для этого выберите DevOps & Engagement (DevOps и взаимодействие) > Test Lab (Лаборатория тестирования). На этой странице показаны подробные результаты тестирования приложений, которые вы тестировали в своем проекте с помощью Test Lab. На странице показаны тесты, которые были запущены с помощью консоли Firebase или интерфейса командной строки Firebase.
Ниже рассказывается, как анализировать результаты тестирования.
Как посмотреть результаты тестирования
После того как вы загрузите или выберете тест и укажете тестовые устройства, вы сможете посмотреть сводку результатов тестирования (включая журналы, видео и скриншоты) на панели управления DevOps & Engagement > Test Lab в консоли Firebase. Исходные результаты тестирования также хранятся в сегменте Google Cloud, чтобы их было удобнее использовать в системах непрерывной интеграции.
Там вы найдете список всех предыдущих запусков тестов. Чтобы понять результаты, нужно знать, что такое матрица тестирования. Когда вы запускаете тест или набор тестов на выбранных устройствах и в выбранных конфигурациях, Test Lab выполняет тест для вашего приложения в пакетном режиме, а затем показывает результаты в виде матрицы тестирования.
Устройства × выполнение тестов = матрица тестирования
- Устройство
- Физическое или виртуальное устройство (только Android), на котором вы проводите тестирование, например телефон, планшет или носимое устройство. Устройства в матрице тестирования определяются по модели, версии ОС, ориентации экрана и языковым настройкам.
- Тестирование, выполнение тестов
- Тест или набор тестов, которые нужно выполнить на устройстве. Вы можете запустить один тест на устройстве или разбить тест на части и запустить его тестовые случаи на разных устройствах.
- Матрица тестов
- Содержит статусы и результаты выполнения тестов. Если хотя бы одно выполнение теста в матрице завершится неудачно, вся матрица будет считаться неудачной.
Как интерпретировать результаты тестирования на матрице
Если вы запустите тестирование в консоли Firebase, Test Lab перенаправит вас к матрице текущих тестов, где можно отслеживать их выполнение. Если вы использовали инструмент командной строки, перейдите по URL, который он предоставил, чтобы открыть страницу с матрицей тестирования.
В матрице есть строка для каждого выполнения теста Test Lab. Значок перед названием выполнения показывает его статус:
- play_circle_outline Выполняется. Выполнение теста ещё не завершено. Выполнение может занять до часа в зависимости от количества и сложности тестов в приложении.
- check_circle Пройдено. Ни один из тестов не был провален.
- Предупреждение Не удалось. Не удалось выполнить хотя бы один из тестов.
- error Неоднозначный результат. Результаты тестирования неоднозначны, возможно, из-за ошибки Test Lab.
- block Пропущено: Test Lab пропустил ваш тест, потому что выбранная вами комбинация устройства и версии ОС недоступна.
Как интерпретировать результаты одного выполнения теста
На странице результатов матрицы тестирования нажмите на один из вариантов выполнения теста, чтобы посмотреть его результат.
На странице будут показаны результаты выполнения теста, в том числе обнаруженные проблемы, список тестовых случаев, журналы выполнения и видеозапись выполнения теста.
Подробные результаты тестирования
Подробные результаты тестирования хранятся в сегменте Google Cloud Storage в течение 90 дней. Нажмите Посмотреть исходные файлы на странице результатов выполнения теста, чтобы увидеть сегмент.
Чтобы хранить подробные результаты тестирования дольше 90 дней, отправьте их в более надежный Cloud Storage сегмент, принадлежащий вам, с помощью параметра командной строки gcloud --results-bucket. Затем можно задать значение параметра Возраст, чтобы определить, как долго Cloud Storage будет хранить результаты. Подробнее о том, как изменить настройку Возраст…