Как начать тестирование в консоли Firebase

Firebase Test Lab – это облачная инфраструктура для тестирования приложений Android. В этом документе описано, как начать работу с Test Lab в консоли Firebase.

Test Lab позволяет проводить следующие типы тестирования:

  • Инструментальный тест. Тест, который позволяет управлять интерфейсом приложения с помощью заданных вами действий. Инструментальный тест также может явно подтверждать состояние приложения, чтобы проверять правильность его работы с помощью AndroidJUnitRunner API. Test Lab поддерживает фреймворки для инструментальных тестов Espresso и UI Automator.

  • Автоматизированное тестирование. Тест, который анализирует интерфейс приложения и автоматически исследует его, имитируя действия пользователя.

  • Тест с игровым циклом. Тест, в котором используется деморежим для имитации действий игрока в мобильных играх.

Подготовка

Проект Firebase должен использовать тарифный план Blaze с оплатой по мере использования, то есть быть связан с аккаунтом Cloud Billing. Вы можете перейти на тарифный план Blaze в консоли Firebase. Чтобы связать аккаунт Cloud Billing, вы должны быть владельцем или редактором проекта.

1. Создать проект Firebase

Если вы ещё этого не сделали, перейдите в консоль Firebase и создайте проект Firebase.

Шаг 2. Запустить тестирование

Инструментальный тест

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования).

  2. Нажмите Начать и выберите Запустить инструментальный тест.

  3. Нажмите Обзор, выберите APK- или AAB-файл приложения и тестовый APK- или AAB-файл, а затем нажмите Продолжить.

  4. Определите матрицу тестов, выбрав устройства, уровни Android API, ориентации экрана и языковые стандарты, на которых вы хотите протестировать приложение. Вы можете выбрать только те комбинации устройств и уровней Android API, которые хотите протестировать.

  5. Необязательно. Нажмите Показать расширенные настройки, чтобы изменить время ожидания теста, которое определяет максимальную продолжительность каждого выполнения теста.

  6. Необязательно. Чтобы вам было проще находить матрицы тестов в консоли Firebase, вы можете добавить к ним ярлыки. Для этого введите название ярлыка в поле Ярлык матрицы тестов (необязательно).

  7. Нажмите Начать N тестов, где N – количество действительных конфигураций тестов из матрицы тестов, которую вы определяете на этом экране. Каждый ожидающий тест показан с синим значком часов, который меняется на зеленую галочку после завершения теста.

  8. После завершения каждого теста нажмите на устройство в столбце Выполнение теста, чтобы посмотреть результаты, включая отчеты о тестировании, журналы, скриншоты и видео.

автоматизированное тестирование

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования).

  2. Нажмите Начать и выберите Запустить автоматизированное тестирование.

  3. Нажмите Обзор, найдите APK-файл приложения и нажмите Продолжить.

  4. Определите матрицу тестов, выбрав устройства, уровни Android API, ориентации экрана и языковые стандарты, на которых вы хотите протестировать приложение.

  5. (Необязательно.) Нажмите Показать расширенные настройки, чтобы изменить следующие параметры:

    • Время ожидания теста определяет максимальную продолжительность каждого выполнения теста.
    • Учетные данные тестового аккаунта используются для предоставления учетных данных для тестового аккаунта.
    • Дополнительные поля используются для ввода текста в другие текстовые поля в приложении.

  6. Необязательно. Чтобы вам было проще находить матрицы тестов в консоли Firebase, добавьте ярлык в поле Ярлык матрицы тестов (необязательно).

  7. Нажмите Начать N тестов, где N – количество действительных конфигураций тестов из матрицы тестов, которую вы определяете на этом экране. Каждый ожидающий тест показан со значком синих часов, который меняется на зеленую галочку после завершения теста.

  8. После завершения каждого теста нажмите на устройство в столбце Test Execution (Выполнение теста), чтобы посмотреть результаты, в том числе отчеты о тестировании, журналы, скриншоты и видео.

Если вы хотите создать скрипт для автоматизированного тестирования, ознакомьтесь со статьей Как записать скрипт автоматизированного тестирования с помощью Test Lab в Android Studio.

Тест с игровым циклом

  1. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > Test Lab (Лаборатория тестирования).

  2. Нажмите Run Your First Test (Запустить первый тест) > Run an Android Game Loop (Запустить игровой цикл Android).

  3. В разделе Загрузка приложения нажмите Обзор и выберите APK-файл приложения. Если вы ещё не создали его, узнайте, как это сделать.

  4. Необязательно. Чтобы вам было проще находить матрицы тестов в консоли Firebase, добавьте ярлык в поле Ярлык матрицы тестов (необязательно).

  5. Необязательно. Если вы хотите запустить несколько циклов или сценариев одновременно или выбрать определенные циклы для запуска, введите номера циклов в поле Scenarios(Сценарии).

    Например, если вы введете 1-3, 5, Test Lab выполнит циклы 1, 2, 3 и 5. По умолчанию (если вы ничего не введете в поле Scenarios (Сценарии)) Test Lab выполняет только цикл 1.

  6. В разделе Устройства выберите одно или несколько физических устройств, на которых вы хотите протестировать приложение, и нажмите Начать тестирование.

Шаг 3. Как изучить результаты тестирования

После запуска теста вы будете автоматически перенаправлены на страницу с его результатами. Тестирование может занять несколько минут в зависимости от количества выбранных конфигураций и заданного времени ожидания. После выполнения тестов вы можете посмотреть их результаты. Подробнее о том, как интерпретировать результаты тестирования, читайте в статье Анализ результатов Firebase Test Lab.