Устранение неполадок и часто задаваемые вопросы о Test Lab

Почему тестирование занимает так много времени?

Если вы выберете устройство с высоким уровнем доступности в каталоге Test Lab, тестирование может начаться быстрее. Если у устройства низкая производительность, тестирование может занять больше времени. Если количество запущенных тестов намного больше, чем емкость выбранных устройств, тестирование может занять больше времени.

Тестирование на устройствах любого уровня может занять больше времени из-за следующих факторов:

• Трафик, который влияет на доступность устройств и скорость тестирования.
• Сбои в работе устройств или инфраструктуры, которые могут произойти в любой момент. Чтобы узнать, есть ли проблемы с инфраструктурой Test Lab, откройте панель мониторинга Firebase.

Чтобы узнать больше о емкости устройств в Test Lab, ознакомьтесь с информацией о емкости устройств для Android и iOS.

Почему результаты тестирования неоднозначны?

Неоднозначные результаты тестирования обычно возникают из-за отмены тестовых запусков или ошибок инфраструктуры.

Ошибки инфраструктуры вызваны внутренними проблемами Test Lab, например ошибками сети или неожиданным поведением устройства. Test Lab внутренне прекращает тестовые запуски, которые несколько раз приводят к ошибкам инфраструктуры, прежде чем сообщить о неопределенном результате. Однако вы можете отключить эти повторные попытки с помощью failFast.

Чтобы определить причину ошибки, выполните следующие действия:

1. Проверьте, нет ли известных сбоев, на панели мониторинга Firebase.

2. Повторите тест в Test Lab, чтобы убедиться, что он воспроизводим.

3. Попробуйте запустить тест на другом устройстве или типе устройств, если это возможно.

Если проблема не исчезнет, обратитесь к команде Test Lab в канале #test-lab в Firebase Slack.

Почему после сегментирования тесты стали выполняться дольше?

Если количество сегментов превышает количество устройств, доступных в Test Lab, тестирование может занять больше времени. Чтобы избежать этой ситуации, попробуйте переключиться на другое устройство. Подробнее о том, как выбрать другое устройство, читайте в статье Емкость устройства.

Почему тестирование долго не начинается?

Когда вы отправляете запрос на тестирование, ваше приложение сначала проверяется, повторно подписывается и т. д. в рамках подготовки к запуску тестов на устройстве. Обычно этот процесс занимает несколько секунд, но на него могут влиять различные факторы, например размер приложения.

После подготовки приложения выполнение тестов планируется и остается в очереди, пока устройство не будет готово к их запуску. Пока все тесты не будут выполнены, матрица будет иметь статус "Ожидает" (независимо от того, находятся ли тесты в очереди или выполняются).

Почему тестирование занимает так много времени?

После завершения выполнения теста его артефакты скачиваются с устройства, обрабатываются и загружаются в Cloud Storage. На продолжительность этого шага может повлиять количество и размер артефактов.

Приложение не возвращает данные и не может найти скриншоты

Объекты, созданные в результате выполнения тестов (например, скриншоты и файлы журналов), хранятся в Google Cloud Storage и отображаются в консоли Firebase. Если выполнение теста выполнялось в течение последних 90 дней, убедитесь, что вы назначили роли на уровне проекта (владелец проекта, редактор проекта или читатель проекта). Также убедитесь, что для вашего проекта или организации не включен сервис Cloud Audit Logging.

Если выполнение было запущено более 90 дней назад, скорее всего, артефакты тестирования были автоматически удалены. Чтобы проверить конфигурацию групп результатов, откройте вкладку Результаты тестирования на панели управления Test Lab. По умолчанию сегмент результатов настроен на хранение объектов в течение 90 дней.

Чтобы хранить тестовые артефакты дольше, выполните команду gcloud firebase test android run с флагом --results-bucket и передайте название сегмента результатов. Дополнительную информацию можно найти в справочной документации по gcloud firebase test android run.

Почему я получаю неполные или отсутствующие результаты отчетов о тестировании инструментальных тестов?

При запуске инструментальных тестов могут возникать ошибки, указывающие на частичные результаты и содержащие сообщение Test run failed to complete. Expected x tests, received y (где y меньше x). Это означает, что Test Lab не удалось проанализировать logcat на наличие маркеров начала или конца отчета о тестировании, которые обычно генерируются AndroidJUnitRunner.

Ниже перечислены распространенные причины этой проблемы.

Какие бесплатные квоты доступны для Test Lab? Что делать, если они закончатся?

Firebase Test Lab предлагает бесплатные квоты для тестирования на устройствах и использования Cloud API. Обратите внимание, что квота на тестирование использует стандартный тарифный план Firebase, а квоты Cloud API – нет.

• Квота на тестирование

  Квоты на тестирование определяются количеством устройств, используемых для выполнения тестов. В тарифном плане Firebase Spark есть фиксированная квота на бесплатное тестирование. Для тарифного плана Blaze квоты могут увеличиваться по мере роста использования Google Cloud. Если вы исчерпали квоту на тестирование, подождите до следующего дня или перейдите на тарифный план Blaze, если сейчас вы используете Spark. Если вы уже используете тарифный план Blaze, вы можете запросить увеличение квоты. Подробнее о квоте на тестирование…

  Отслеживать использование квоты на тестирование можно в консоли Google Cloud.

• Квота Cloud Testing API

  Для Cloud Testing API предусмотрено два ограничения: на количество запросов в день на проект и на количество запросов за 100 секунд на проект. Отслеживать использование можно в консоли Google Cloud.

• Квота Cloud Tool Results API

  Для Cloud Tool Results API предусмотрено два ограничения: на количество запросов в день на проект и на количество запросов за 100 секунд на проект. Отслеживать использование можно в консоли Google Cloud.

  Подробную информацию о лимитах API можно найти в статье Квоты Cloud API для Test Lab. Если вы достигли квоты API:

  • Отправьте запрос на повышение квот, изменив их непосредственно в консоли Google Cloud (обратите внимание, что по умолчанию для большинства ограничений заданы максимальные значения).

  • Чтобы запросить увеличение квот API, заполните форму запроса в консоли Google Cloud или обратитесь в службу поддержки Firebase.

Как узнать, поступает ли трафик на мой сервер из Test Lab?

Чтобы определить, поступает ли трафик с тестовых устройств, размещенных в Firebase, проверьте IP-адрес источника по нашим диапазонам IP-адресов.

Работает ли Test Lab с VPC-SC?

Test Lab не работает с VPC-SC, который блокирует копирование приложений и других тестовых артефактов между внутренним хранилищем Test Lab и сегментами результатов пользователей.

Как обнаружить нестабильные тесты в Test Lab?

Чтобы выявить нестабильное поведение в тестах, рекомендуем использовать параметр --num-flaky-test-attempts . Повторные запуски для устранения нестабильности оплачиваются или учитываются в рамках дневной квоты так же, как и обычные выполнения тестов.

Обратите внимание на следующее:

• При обнаружении сбоя выполнение теста запускается заново. Повторно запустить только неудачные тесты нельзя.
• Повторные запуски для устранения нестабильности планируются на одно и то же время, но не гарантируется, что они будут выполняться параллельно, например когда трафик превышает количество доступных устройств.

Поддерживает ли Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest или Cucumber?

Некоторые из этих пунктов есть в наших планах, но пока мы не можем гарантировать поддержку этих платформ для тестирования и разработки приложений.

Где найти информацию об устройстве, например разрешение экрана?

Подробную информацию об устройстве можно получить через API и из клиента gcloud с помощью команды describe:

gcloud firebase test ios models describe MODEL

Можно ли использовать сегментирование при тестировании приложений для iOS?

Разбиение на сегменты не поддерживается в Test Lab для iOS. Однако вы можете использовать клиент Flank для сегментирования тестовых сценариев iOS.

Для этого в файле .xctestrun задаются ключ и значения OnlyTestIdentifiers. Подробную информацию можно найти на странице man для xcodebuild.xctestrun.

Почему в результатах тестирования на iOS нет видео?

В iOS 18 и более поздних версиях видео в результатах не поддерживаются.

Поддерживает ли Test Lab носимые устройства?

Да! Test Lab поддерживает Google Pixel Watch. Теперь вы можете тестировать автономные приложения для Wear OS на часах Google Pixel Watch. Подробнее о тестировании на доступных устройствах Test Lab…

Поддерживает ли Test Lab новейшие устройства Google?

Да! Test Lab поддерживает Google Pixel Tablet и Google Pixel Fold. Вы можете запускать тесты на своих отдельных физических устройствах. Подробнее Test Labоб устройствах …

Как определить, что в Test Lab выполняется тест?

Если вы тестируете приложение в Firebase или запускаете тесты для отчета о тестировании в Play Console, то можете определить, выполняется ли тест на устройстве, размещенном в Firebase. Для этого проверьте системное свойство firebase.test.lab в файле MainActivity. Затем вы можете выполнить дополнительные операторы на основе логического значения для testLabSetting. Подробнее об измененном поведении при тестировании…

Поддерживает ли Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest или Cucumber?

Некоторые из этих пунктов есть в наших планах, но пока мы не можем гарантировать поддержку этих платформ для тестирования и разработки приложений. Однако если вы создали приложение с помощью фреймворка, поддерживающего Espresso (например, Flutter), то можете написать инструментальный тест с помощью Espresso, а затем запустить его в Test Lab.

Поддерживает ли Test Lab тестирование обфусцированных приложений, например с помощью ProGuard или R8?

Test Lab не поддерживает обфускацию и деобфускацию. Приложение, скорее всего, будет работать, но все обфусцированные данные приложения, например трассировки стека, будут отображаться в журналах в обфусцированном виде.

Можно ли использовать складное устройство в разных состояниях и положениях при тестировании в Test Lab?

Да! Вы можете протестировать складное устройство в разных состояниях и положениях.

Складные устройства могут находиться в разных состояниях, например FLAT (полностью открыто) или HALF_OPENED (между полностью открытым и полностью закрытым).

Позы, с другой стороны, состоят из определенной ориентации устройства и складного состояния. Например, режим настольного компьютера – это состояние HALF_OPENED в горизонтальной ориентации, а режим книги – состояние HALF_OPENED в вертикальной ориентации.

Если вы проводите инструментальные тесты, используйте библиотеку Jetpack WindowManager и следуйте инструкциям из документации по тестированию приложений на складных устройствах.

Доступные состояния зависят от устройства. Взаимодействовать с ними можно с помощью adb shell command cmd device_state.

• Чтобы посмотреть текущее состояние, выполните команду adb shell cmd device_state state.
• Чтобы задать или переопределить текущее состояние, выполните команду adb shell cmd device_state state <IDENTIFIER>.
• Чтобы сбросить состояние, выполните команду adb shell cmd device_state state reset.
• Чтобы проверить доступные состояния, выполните на складном устройстве команду adb shell cmd device_state print-states.

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

Можно ли попробовать Test Lab, если у меня нет приложения?

В отличие от других продуктов Firebase, для использования Test Lab не нужно добавлять Firebase SDK. Если у вас нет приложения, вы можете скачать APK-файл в интернете или создать приложение и тестовый APK-файл на основе одного из примеров в репозитории AndroidX на GitHub. Обратите внимание, что для автоматизированного тестирования нужен только APK-файл приложения, а для инструментального теста – APK-файлы приложения и теста, созданные на основе исходного кода. Подробнее об инструментальных тестах…

Чтобы узнать больше о функциях Test Lab, прочитайте статью Начало работы с Firebase Test Lab для тестирования приложений Android.

Какие устройства лучше всего подходят для тестирования различий скриншотов?

Тестирование на основе сравнения скриншотов – это метод, при котором утверждения теста основаны на сравнении изображений экрана, полученных во время выполнения теста, с эталонными изображениями, представляющими ожидаемое поведение. Такие тесты могут быть более хрупкими на некоторых типах устройств, чем на других. Для таких тестов рекомендуем использовать эмуляторы устройств с архитектурой Arm (*.arm). В эмуляторах Arm используются образы, которые очень похожи на образы в стандартных эмуляторах Android Studio или идентичны им.

Мы также рекомендуем изучить библиотеки тестирования, которые могут помочь сделать тестирование скриншотов более надежным при наличии ожидаемых изменений.

Обновляет ли Test Lab виртуальные устройства?

Да! Виртуальные устройства обновляются при следующих изменениях:

1. Обновление существующих изображений
2. Прекращение поддержки более ранних уровней API
3. Добавлены новые уровни Android API

Как включить отчеты о покрытии?

Чтобы включить отчеты о покрытии, добавьте coverage=true в поле environmentVariables. Если вы используете инструмент оркестрации тестов Android, вам нужно указать каталог для хранения результатов покрытия:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

Если вы не используете Orchestrator, укажите путь к файлу:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

Где найти сведения об устройстве, например разрешение экрана, поддерживаемые ABI и т. д.?

Подробную информацию об устройстве можно получить через API и из клиента gcloud с помощью команды describe:

gcloud firebase test android models describe MODEL

Как войти в приложение для Wear OS без телефона?

Если ваше приложение поддерживает вход с аккаунтом Google, то он должен автоматически выполняться с тестовым аккаунтом. Если для входа в приложение обычно требуется телефон, вы можете создать вариант сборки, который пропускает вход и использует токен, встроенный в тестовую сборку или считанный из файлов на диске, обычно отправляемых с помощью --other-files option. Подробнее о пользовательских учетных данных и вводе текста при автоматизированном тестировании…

Проверочные коды при входе

Автоматизированное тестирование не может обойти экраны входа, которые требуют дополнительных действий пользователя, помимо ввода учетных данных, например прохождения проверки CAPTCHA.

Автоматический вход

Автоматический вход с аккаунтом Google не поддерживается в автоматизированном тестировании для iOS+ (бета).

Поддержка фреймворков пользовательского интерфейса

Автоматизированное тестирование лучше всего подходит для приложений, в которых используются элементы интерфейса из фреймворка Android UI (включая объекты View, ViewGroup и WebView). Если вы используете автоматизированное тестирование для приложений, в которых используются другие фреймворки пользовательского интерфейса, включая приложения на игровом движке Unity, тестирование может завершиться на первом экране.