Существует несколько способов использования Firebase Test Lab для запуска тестов в вашем приложении Android, включая интерфейс командной строки , Android Studio , пользовательский интерфейс Test Lab в консоли Firebase и API тестирования . Как бы вы ни решили начать свои тесты, результаты сохраняются в указанном вами проекте Firebase. Вы можете изучить результаты с помощью API ToolResults в дополнение к любому из вышеперечисленных инструментов. На этой странице описывается, как просматривать и анализировать эти результаты тестов.
Ключевые понятия
Чтобы увидеть результаты всех предыдущих тестовых запусков, выберите Test Lab на левой навигационной панели вашего проекта в консоли Firebase . На этой странице отображаются все тестовые запуски из приложений, которые вы протестировали с вашим проектом с помощью Test Lab .
Чтобы проанализировать результаты теста, вам сначала необходимо понять три концепции:
Когда вы запускаете тест или набор тестовых случаев для выбранных вами устройств и конфигураций, Test Lab запускает тест для вашего приложения в пакетном режиме, а затем отображает результаты в виде тестовой матрицы .
Устройства × Выполнения тестов = Тестовая матрица
- Устройство
- Физическое или виртуальное устройство (только Android), на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, ориентации экрана и локали (также известной как географические и языковые настройки).
- Тест, выполнение теста
- Тест (или набор тестовых случаев), который должен быть запущен на устройстве. Вы можете запустить один тест на устройство или, по желанию, разбить тест на части и запустить его тестовые случаи на разных устройствах.
- Тестовая матрица
- Содержит статусы и результаты тестов для ваших тестовых исполнений. Если любое тестовое исполнение в матрице не удается, вся матрица не удается.
В следующих разделах объясняется, как ориентироваться в результатах теста.
Интерпретировать результаты истории испытаний
При переходе к результатам теста путем выбора Test Lab вы увидите результаты тестов, которые вы выполнили на данный момент.
История тестирования сгруппирована по приложению. Для каждого приложения отображаются только последние пять тестовых матриц; если доступно больше, вы можете нажать ссылку Все матрицы в нижней части списка тестов приложений, чтобы увидеть полный список для этого приложения.
Интерпретировать результаты тестовой матрицы
При запуске теста через пользовательский интерфейс Test Lab вы перенаправляетесь на страницу, где можете увидеть свою тестовую матрицу и щелкнуть определенное выполнение теста, чтобы просмотреть результаты теста. Android Studio и команда gcloud также предоставляют URL-адрес для страницы результатов тестовой матрицы.
В типичной тестовой матрице вы можете запустить тест на дюжине или около того различных устройств. Каждое выполнение теста может иметь разный результат. Возможные результаты для любого выполнения теста в тестовой матрице включают следующее:
- Прошедший
: Сбоев не обнаружено. - Неуспешный
: Обнаружена как минимум одна ошибка. - Неокончательный
: Результаты испытаний оказались неопределенными, возможно, из-за ошибки Test Lab . - Пропущено
: Выбранные значения измерений для некоторых тестовых исполнений в матрице были несовместимы. Это происходит, когда выбранные вами устройства несовместимы с одним или несколькими выбранными вами уровнями API Android.
Чтобы просмотреть агрегированные результаты тестирования для всех тестовых матриц для определенного приложения в вашем проекте Firebase, щелкните имя приложения, как показано в следующем примере:
Пример страницы результатов тестовой матрицы, содержащей всего четыре выполнения теста 
Это перенаправит вас к списку тестовых матриц для вашего приложения, где вы можете щелкнуть по названию любой тестовой матрицы, чтобы увидеть результаты тестовой матрицы, и где вы можете щелкнуть по названию приложения (показано в красном поле ниже), чтобы просмотреть список тестовых матриц для других приложений, связанных с вашим проектом Firebase.
Пример страницы списка тестовых матриц 
Тестовая матрица может пройти, не пройти или быть неубедительной. Тестовая матрица отображается как не прошедшая или неубедительная, если какие-либо тестовые выполнения в этой матрице не пройдены или неубедительны.
Интерпретировать результаты теста Robo
Если вы проводили тесты с Robo, ваши результаты включают видео и скриншоты того, как Robo сканирует ваш пользовательский интерфейс, в дополнение к обычным тестовым метрикам. Эти видео и скриншоты включают визуальные указания действий, которые Robo предпринимал во время сканирования, аналогично функции «Показать касания» в Android. Вы можете использовать указания, чтобы следить за прогрессом Robo и воспроизводить любые ошибки, которые он может обнаружить.
Пример видео с результатами теста Robo
Интерпретировать результаты одного выполнения теста
На странице результатов тестовой матрицы щелкните по одному из выполнений теста, чтобы увидеть результат этого конкретного выполнения теста.
Пример страницы результатов выполнения теста 
На этой странице вы можете увидеть время, необходимое для выполнения каждого теста. Вы также можете увидеть результаты для определенных тестовых случаев, которые соответствуют методам в вашем тестовом APK (для инструментальных тестов), и подробные результаты теста, включая журналы тестов, скриншоты и видео. Для теста Robo подробные результаты теста также включают карту активности, которая графически показывает пути пользовательского интерфейса, посещенные тестом Robo.
Результаты испытаний секционированных приборов
Чтобы помочь вам интерпретировать результаты инструментальных тестов, Test Lab разделяет каждый тест на собственную страницу подробного отчета, полную трассировок стека, журналов и видео. Эта функция работает независимо от того, используете ли вы Android Orchestrator.
Пример страницы результатов тестового случая 
Интерпретировать результаты доступности
Тесты Robo используют Android Accessibility Scanner для обнаружения проблем доступности в вашем приложении (обратите внимание, что вы также можете запустить сканирование локально на своем устройстве). Инструкции по просмотру и интерпретации результатов доступности вашего теста Robo см. на странице Начало работы со сканером доступности .
Общую информацию о том, как улучшить доступность вашего приложения, можно найти в документации по специальным возможностям для разработчиков Android .
Показатели производительности
Тесты, запущенные на физических устройствах, также возвращают показатели производительности:
| Метрическая | Требуемая конфигурация устройства |
|---|---|
| Время запуска приложения | API 19+ |
| использование ЦП | API 21+ |
| Использование памяти | |
| Сетевая активность | |
| Кадров в секунду | API 21+ и включает SurfaceView |
Подробные результаты теста
Подробные результаты теста доступны в течение 90 дней после запуска теста и хранятся в контейнере Google Cloud Storage (но также видны в консоли Firebase ). Вы можете просмотреть подробные результаты теста в контейнере Cloud Storage , нажав Test results на странице результатов выполнения теста. Когда подробные результаты теста больше не доступны, вы все равно можете увидеть, какие тесты прошли или не прошли.
Чтобы сохранить подробные результаты тестирования дольше 90 дней, вам необходимо отправить эти результаты тестирования в контейнер Cloud Storage , которым вы владеете, с помощью параметра командной строки gcloud --results-bucket . Затем вы можете задать параметр Age , чтобы определить, как долго результаты будут храниться в контейнере Cloud Storage . Информацию об изменении параметра Age см . в разделе Условия жизненного цикла .