Как протестировать с помощью Google Cloud CLI

В этом руководстве рассказывается, как запустить тест XCTest или тест игрового цикла с помощью интерфейса командной строки gcloud.

Шаг 1. Настройте локальную среду Google Cloud SDK

1. Скачайте Google Cloud SDK.

в том числе инструмент командной строки gcloud CLI.

2. Убедитесь, что у вас установлена последняя версия тега и в нем есть команда gcloud firebase:

         gcloud components update

3. Войдите в gcloud CLI, используя аккаунт Google:

         gcloud auth login

4. Задайте проект Firebase в gcloud, где PROJECT_ID – это идентификатор вашего проекта Firebase:

        gcloud config set project PROJECT_ID

Шаг 2. Проведите тестирование

Как запустить XCTest

1. Загрузите ZIP-файл теста, выполнив следующую команду (если вы ещё не упаковали приложение, ознакомьтесь с разделом Упаковка XCTest):

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. Выберите параметры тестирования.

   Test Lab позволяет тестировать приложения на устройствах с разными версиями iOS, ориентацией экрана и языковыми стандартами. Эти конфигурации называются тестовыми параметрами. Чтобы посмотреть варианты для каждого параметра (например, поддерживаемые версии Xcode для версии iOS устройства), замените models, versions или locales на dimension в следующей команде:

   gcloud firebase test ios dimension list

   С ориентацией экрана все немного проще, поскольку доступны только варианты portrait и landscape.

   Просмотрите список тестовых параметров и выберите несколько комбинаций, которые вы хотите протестировать. Максимальное количество комбинаций, которые можно запустить за день, указано в разделе Тарифные планы.

3. Выбрав набор тестовых параметров, вы можете запустить тестирование с помощью команды firebase test ios run.Test Lab Для каждой комбинации параметров тестирования, которую вы хотите проверить, добавьте отдельный флаг --device:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   Возможно, тест не пройдет из-за несовместимости между версией Xcode, в которой он был создан, и версией Xcode, используемой по умолчанию в Test Lab. Чтобы указать поддерживаемую версию Xcode для тестирования, используйте флаг --xcode-version:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   Чтобы вам было проще находить матрицы тестирования в консоли Firebase, вы можете добавить к ним ярлыки, используя флаг --client-details matrixLabel="<label>", как показано в примере ниже.

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

Как запустить тест с игровым циклом

Выполните команду gcloud beta firebase test ios run и используйте следующие флаги, чтобы настроить запуск:

Например, следующая команда запускает тест игрового цикла, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о gcloud CLI можно найти в справочной документации.

Шаг 3 (необязательный). Автоматизируйте будущие тесты, которые вы создаете

Как использовать команды gcloud с Test Lab

Вы можете использовать скрипты оболочки или пакетные файлы, чтобы автоматизировать команды тестирования мобильных приложений, которые в противном случае выполнялись бы с помощью командной строки gcloud. В этом примере скрипта Bash выполняется XCTest с двухминутным временем ожидания и сообщается, успешно ли завершился тест:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скриптов

Test Lab предоставляет несколько кодов выхода, которые помогают лучше понять результаты тестирования, выполняемого с помощью скриптов или пакетных файлов.

Шаг 4. Изучите результаты тестирования

После начала тестирования вы получите ссылку на страницу Результаты тестирования. Проверка может занять несколько минут в зависимости от количества выбранных конфигураций и времени ожидания, заданного для тестов. После того как тесты будут выполнены, вы сможете посмотреть их результаты. Подробнее о том, как анализировать Firebase Test Lab результаты тестирования…

Следующий шаг

Ознакомьтесь с документацией по Google Cloud SDK, чтобы узнать о доступных вариантах тестирования, которые находятся на этапе общей доступности или бета-тестирования.