Google is committed to advancing racial equity for Black communities. See how.
Эта страница переведена с помощью Cloud Translation API.
Switch to English

Анализируйте результаты лаборатории тестирования Firebase

Есть несколько способов использовать Firebase Test Lab для запуска тестов в вашем приложении Android, включая интерфейс командной строки , Android Studio , пользовательский интерфейс Test Lab в консоли Firebase и API тестирования . Как бы вы ни решили начать тесты, результаты сохраняются в указанном вами проекте Firebase. Вы можете изучить результаты с помощью ToolResults API в дополнение к любому из перечисленных выше инструментов. На этой странице описывается, как просматривать и анализировать результаты этих тестов.

Ключевые идеи

Чтобы увидеть результаты всех предыдущих тестовых запусков, выберите Test Lab на левой панели навигации вашего проекта в консоли Firebase. На этой странице отображаются все тестовые прогоны из приложений, которые вы тестировали с помощью своего проекта с помощью Test Lab.

Чтобы просмотреть результаты теста, вам сначала нужно понять три концепции:

Когда вы запускаете тест или набор тестовых случаев для выбранных вами устройств и конфигураций, Test Lab запускает тест для вашего приложения в пакете, а затем отображает результаты в виде матрицы тестирования .

Устройства × Выполнения тестов = Матрица тестов

Устройство
Физическое или виртуальное устройство (только Android), на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, ориентации экрана и языку (также известному как географические и языковые настройки).
Тест, выполнение теста
Тест (или набор тестовых случаев) для запуска на устройстве. Вы можете запустить один тест для каждого устройства или, при желании, сегментировать тест и запускать его тестовые случаи на разных устройствах.
Матрица испытаний
Содержит статусы и результаты тестов для выполнения ваших тестов. Если выполнение какого-либо теста в матрице не удается, не удается выполнить всю матрицу.

В следующих разделах объясняется, как перемещаться по результатам тестирования.

Интерпретировать результаты истории испытаний

Когда вы переходите к результатам тестирования, выбирая Test Lab , вы видите результаты тестов, которые вы уже выполнили.

История тестирования сгруппирована по приложениям. Для каждого приложения отображаются только пять последних тестовых матриц; если доступно больше, вы можете щелкнуть ссылку « Все матрицы» в нижней части списка тестов приложения, чтобы просмотреть полный список для этого приложения.

Интерпретация результатов матрицы испытаний

При запуске теста через пользовательский интерфейс Test Lab вы будете перенаправлены на страницу, где можете увидеть свою тестовую матрицу и щелкнуть конкретное выполнение теста, чтобы просмотреть результаты теста. Android Studio и команда gcloud также предоставляют URL-адрес для страницы результатов матрицы тестирования.

В типичной тестовой матрице вы можете запустить тест на дюжине или около того различных устройств. Каждое выполнение теста может иметь разные результаты. Возможные результаты выполнения любого теста в матрице тестирования включают следующее:

  • ПрошедшийТест пройден : Сбоев не обнаружено.
  • Не удалосьТест не пройден : Произошла по крайней мере одна ошибка.
  • НеубедительныйТест пройден : Результаты теста неубедительны, возможно, из-за ошибки тестовой лаборатории.
  • ПропущеноТест пройден : Выбранные значения измерений для выполнения некоторых тестов в матрице несовместимы. Это происходит, когда выбранные вами устройства несовместимы с одним или несколькими выбранными вами уровнями Android API.

Чтобы просмотреть сводные результаты тестирования для всех тестовых матриц для данного приложения в вашем проекте Firebase, щелкните имя приложения, как показано в следующем примере:

Пример страницы результатов матрицы тестов с четырьмя выполнениями тестов Результаты матрицы испытаний

Это приведет вас к списку тестовых матриц для вашего приложения, где вы можете щелкнуть имя любой тестовой матрицы, чтобы увидеть результаты тестовой матрицы, и где вы можете щелкнуть имя приложения (показано в красном поле ниже), чтобы просмотреть список тестовой матрицы для других приложений, связанных с вашим проектом Firebase.

Пример страницы со списком тестовой матрицы Список матриц испытаний

Тестовая матрица может пройти, не пройти или быть безрезультатной. Тестовая матрица отображается как неудачная или неубедительная, если какие-либо тесты в этой матрице завершаются неудачно или не дают результатов.

Интерпретировать результаты робо-теста

Если вы запускали тесты с помощью Robo, в ваши результаты будут включены видеоролики и снимки экрана, на которых Robo сканирует ваш пользовательский интерфейс, в дополнение к обычным тестовым показателям. Эти видео и скриншоты содержат визуальные индикаторы действий, которые Робо выполнял во время сканирования, аналогично функции «Показать касания» в Android. Вы можете использовать индикаторы, которые помогут вам следить за прогрессом Robo и воспроизвести любые ошибки, которые он может обнаружить.

Пример видео с результатами робо-теста

Результаты робо-тестирования

Интерпретировать результаты одного выполнения теста

На странице результатов матрицы тестирования щелкните одно из выполнений теста, чтобы увидеть результат выполнения этого конкретного теста.

Пример страницы результатов выполнения теста Результаты выполнения теста

На этой странице вы можете увидеть время, необходимое для выполнения каждого теста. Вы также можете увидеть результаты для конкретных тестовых случаев, которые соответствуют методам в вашем тестовом APK (для инструментальных тестов), и подробные результаты тестирования, включая журналы тестирования, снимки экрана и видео. Для Robo-теста подробные результаты теста также включают карту активности, которая графически показывает пути пользовательского интерфейса, которые были посещены Robo-тестом.

Результаты раздельного тестирования КИПиА

Чтобы помочь вам интерпретировать результаты инструментальных тестов, Test Lab разделяет каждый тест на отдельную страницу подробного отчета с трассировками стека, журналами и видео. Эта функция работает независимо от того, используете вы Android Orchestrator или нет.

Пример страницы результатов теста Результаты теста

Интерпретировать результаты доступности

Робо-тесты используют Android Accessibility Scanner для обнаружения проблем со специальными возможностями в вашем приложении (обратите внимание, что вы также можете запустить сканирование локально на своем устройстве). Для получения инструкций о том, как просматривать и интерпретировать результаты теста доступности Robo, посетите страницу « Начало работы со сканером доступности» .

Для получения общей информации о том, как улучшить специальные возможности вашего приложения, посетите документацию по специальным возможностям для разработчиков Android .

Показатели эффективности

Тесты, выполняемые на физических устройствах, также возвращают показатели производительности:

Метрическая Требуемая конфигурация устройства
Время запуска приложения API 19+
использование процессора API 21+
Использование памяти
Сетевая активность
Кадров в секунду API 21+ и включает SurfaceView
Графическая производительность API 23+

Детали графической производительности

Отчет о производительности графики содержит статистику по нескольким ключевым показателям графики:

  • Пропущенный Vsync: количество пропущенных событий Vsync, разделенное на количество кадров, для визуализации которых потребовалось более 16 мс.
  • Высокая задержка ввода: количество событий ввода, для которых потребовалось более 24 мс, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Медленный поток пользовательского интерфейса: количество раз, когда поток пользовательского интерфейса выполнялся более 8 мс, деленное на количество кадров, для визуализации которых потребовалось более 16 мс.
  • Команды медленного отрисовки: количество раз, когда отправка команд отрисовки на графический процессор занимала более 12 мс, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Медленная загрузка растрового изображения: количество раз, когда растровому изображению потребовалось больше 3,2 мс для загрузки в графический процессор, разделенное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Время рендеринга: распределение времени рендеринга для каждого кадра тестового прогона. Время рендеринга больше 32 миллисекунд вызывает заметное замедление вашего пользовательского интерфейса. Время рендеринга 700+ указывает на замороженные кадры. Данные рендеринга собираются из dumpsys graphicsstats .

Подробные результаты тестирования

Подробные результаты тестирования доступны в течение 90 дней после запуска теста и хранятся в корзине Google Cloud Storage (но также видны в консоли Firebase). Вы можете просмотреть подробные результаты теста в сегменте Cloud Storage, щелкнув Просмотр исходных файлов на странице результатов выполнения теста. Когда подробные результаты тестирования больше не доступны, вы все равно можете увидеть, какие тесты прошли или не прошли.

Чтобы сохранить подробные результаты тестирования в течение более 90 дней, вам необходимо отправить эти результаты в корзину облачного хранилища, которой вы владеете, с помощью параметра командной строки --results-bucket gcloud . Затем вы можете установить параметр Возраст, чтобы определить, как долго результаты хранятся в вашей корзине Cloud Storage. См. Раздел Условия жизненного цикла для получения информации о том, как изменить настройку возраста .