В консоли Firebase можно посмотреть результаты всех предыдущих тестов. Для этого перейдите в раздел DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования). На этой странице показаны подробные результаты тестирования приложений, которое вы проводили в своем проекте с помощью Test Lab. На странице показаны тесты, запущенные через консоль Firebase или интерфейс командной строки Firebase.
Ниже рассказывается, как анализировать результаты тестирования.
Посмотреть результаты
После того как вы загрузите или выберете тест и укажете тестовые устройства, вы сможете посмотреть сводку результатов тестирования (включая журналы, видео и скриншоты) в консоли Firebase на панели управления DevOps & Engagement (DevOps и вовлечение) > Test Lab. Необработанные результаты тестирования также хранятся в сегменте Google Cloud, чтобы их было проще использовать с системами непрерывной интеграции.
Вы увидите список всех предыдущих тестовых запусков. Чтобы понять результаты, нужно знать, что такое матрица тестов. Когда вы запускаете тест или набор тестов на выбранных устройствах и конфигурациях, Test Lab выполняет тест для вашего приложения в пакетном режиме, а затем отображает результаты в виде матрицы тестов.
Устройства × Выполнения тестов = Матрица тестов
- Устройство
- Физическое или виртуальное устройство (только Android), на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в матрице тестов идентифицируются по модели, версии ОС, ориентации экрана и региональным настройкам (также известным как настройки местоположения и языка).
- Тест, выполнение теста
- Тест или набор тестов, которые нужно запустить на устройстве. Вы можете запустить один тест на устройство или разделить его на несколько частей и запустить их на разных устройствах.
- Матрица тестов
- Содержит статусы и результаты выполнения тестов. Если хотя бы одно выполнение теста в матрице завершится неудачно, то и вся матрица будет считаться неудачной.
Как интерпретировать результаты матрицы тестов
Если вы запустите тесты в консоли Firebase, Test Lab перенаправит вас к матрице тестов, где вы сможете наблюдать за ходом тестирования. Если вы использовали инструмент командной строки, то можете перейти по предоставленному им URL на страницу матрицы тестов, которые выполняются в данный момент.
В матрице есть строка для каждого выполнения теста Test Lab. Значок перед названием выполнения указывает на его статус:
- play_circle_outline Выполняется. Выполнение теста ещё не завершено. В зависимости от количества и сложности тестов в приложении выполнение может занять до часа.
- check_circle Пройдено. Все тесты в рамках выполнения завершились успешно.
- warning Failed: по крайней мере один из тестов не пройден.
- error Неубедительные результаты. Результаты тестирования неубедительны, возможно, из-за ошибки Test Lab.
- block Пропущено. Test Lab пропустил тест, потому что выбранная вами комбинация устройства и версии ОС недоступна.
Как интерпретировать результаты одного выполнения теста
На странице результатов матрицы тестов нажмите на одно из выполнений теста, чтобы посмотреть его результат.
На странице вы увидите статистику выполнения теста, в том числе проблемы, возникшие во время тестирования, список отчетов о тестировании, журналы выполнения и видеозапись теста.
Подробные результаты тестирования
Подробные результаты тестирования доступны в сегменте Google Cloud Storage в течение 90 дней. Чтобы посмотреть сегмент, нажмите Посмотреть исходные файлы на странице результатов выполнения теста.
Чтобы хранить подробные результаты тестирования дольше 90 дней, отправьте их в принадлежащий вам сегмент Cloud Storage, используя параметр командной строки gcloud --results-bucket. Затем вы можете задать параметр Возраст, чтобы определить, как долго Cloud Storage будет хранить результаты. Подробнее о том, как изменить настройку Возраст, читайте в разделе Условия жизненного цикла.