Как начать тестирование в консоли Firebase

Firebase Test Lab предоставляет облачную инфраструктуру для тестирования приложений Android. В этом документе рассказывается, как начать работу с Test Lab, используя консоль Firebase.

Test Lab позволяет проводить следующие типы тестирования:

  • Инструментальный тест. Тест, который вы пишете, чтобы управлять интерфейсом приложения с помощью заданных действий. Инструментальный тест также может содержать явные утверждения о состоянии приложения, чтобы проверить его правильную работу с помощью AndroidJUnitRunnerAPIs. Test Lab поддерживает платформы для инструментального тестирования Espresso и UI Automator.

  • Автоматизированное тестирование. Тест, в котором анализируется интерфейс приложения, а затем автоматически исследуется путем имитации действий пользователя.

  • Тестирование игрового цикла. Тест, в котором используется деморежим для имитации действий игрока в приложении.

Подготовка

Ваш проект Firebase должен быть на тарифном плане Blaze с оплатой по мере использования, то есть связан с аккаунтом Cloud Billing. Вы можете перейти на тарифный план Blaze в консоли Firebase. Чтобы связать аккаунт Cloud Billing, вам нужно быть владельцем или редактором проекта.

1. Создать проект Firebase

Если вы ещё этого не сделали, перейдите в Firebaseконсоль и создайте новый проект Firebase.

Шаг 2. Запустить тестирование

Инструментальный тест

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и взаимодействие) > Test Lab (Лаборатория тестирования).

  2. Нажмите Начать, а затем выберите Запустить инструментальный тест.

  3. Нажмите Обзор, найдите APK-файл или набор App Bundle приложения и тестовый APK-файл или набор App Bundle, а затем нажмите Продолжить.

  4. Определите матрицу тестирования, выбрав устройства, уровни Android API, ориентации экрана и языковые стандарты, на которых вы хотите протестировать приложение. Вы можете выбрать только те сочетания устройств и уровней API Android, которые хотите использовать для тестирования.

  5. Необязательно. Нажмите Показать расширенные настройки, чтобы изменить время ожидания теста, определяющее максимальную продолжительность каждого выполнения теста.

  6. (Необязательно.) Чтобы вам было проще находить тестовые матрицы в консоли Firebase, вы можете добавить к ним ярлык. Для этого введите название ярлыка в поле Ярлык тестовой матрицы (необязательно).

  7. Нажмите Начать N экспериментов, где N – количество действительных конфигураций экспериментов из матрицы тестирования, которую вы задали на этом экране. Каждый ожидающий тест отмечен синим значком часов, который меняется на зеленый значок галочки после завершения теста.

  8. После каждого теста нажмите на устройство, указанное в столбце Выполнение теста, чтобы посмотреть результаты, в том числе тестовые случаи, журналы, скриншоты и видео.

автоматизированное тестирование

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и взаимодействие) > Test Lab (Лаборатория тестирования).

  2. Нажмите Начать и выберите Запустить автоматизированное тестирование.

  3. Нажмите Обзор, найдите APK-файл приложения и нажмите Продолжить.

  4. Определите матрицу тестирования, выбрав устройства, уровни Android API, ориентации экрана и языковые стандарты, на которых вы хотите протестировать приложение.

  5. (Необязательно.) Нажмите Показать дополнительные параметры, чтобы изменить следующие настройки:

    • Время ожидания теста определяет максимальную продолжительность выполнения каждого теста.
    • Учетные данные тестового аккаунта используются для предоставления учетных данных для тестового аккаунта.
    • Дополнительные поля используются для ввода текста в другие текстовые поля в приложении.

  6. (Необязательно.) Чтобы вам было проще находить матрицы тестирования в консоли Firebase, вы можете добавить к ним ярлык. Для этого введите название ярлыка в поле Ярлык матрицы тестирования (необязательно).

  7. Нажмите Начать N экспериментов, где N – количество действительных конфигураций экспериментов из матрицы тестирования, которую вы задали на этом экране. Каждый ожидающий проверки тест отмечен синим значком часов. После завершения проверки значок меняется на зеленую галочку.

  8. После завершения каждого теста нажмите на устройство, указанное в столбце Выполнение теста, чтобы посмотреть результаты, в том числе тестовые случаи, журналы, скриншоты и видео.

Если вы хотите создать скрипт для автоматизированного тестирования, ознакомьтесь со статьей Как записать скрипт Robo с помощью Test Lab в Android Studio.

Тест с игровым циклом

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и взаимодействие) > Test Lab (Лаборатория тестирования).

  2. Нажмите Run Your First Test (Запустите первый тест) > Run an Android Game Loop (Запустите цикл игры Android).

  3. В разделе Загрузка приложения нажмите Обзор и выберите APK-файл приложения (если вы ещё этого не сделали, создайте APK-файл).

  4. (Необязательно.) Чтобы вам было проще находить матрицы тестирования в консоли Firebase, вы можете добавить к ним ярлык. Для этого введите название ярлыка в поле Ярлык матрицы тестирования (необязательно).

  5. Необязательно. Если вы хотите запустить несколько циклов или сценариев одновременно или выбрать определенные циклы для запуска, введите номера циклов в поле Сценарии.

    Например, если вы введете 1-3, 5, Test Lab будет выполнять циклы 1, 2, 3 и 5. По умолчанию (если вы ничего не введете в поле Сценарии) Test Lab выполняет только цикл 1.

  6. В разделе Устройства выберите одно или несколько физических устройств, на которых вы хотите протестировать приложение, и нажмите Начать тестирование.

Шаг 3. Как анализировать результаты тестирования

После запуска теста вы будете автоматически перенаправлены на страницу результатов. Проверка может занять несколько минут в зависимости от количества выбранных конфигураций и времени ожидания, заданного для тестов. После того как тесты будут выполнены, вы сможете посмотреть их результаты. Подробнее о том, как интерпретировать результаты тестирования, рассказывается в разделе Анализ результатов Firebase Test Lab.