Независимо от того, запускаете ли вы свои тесты через консоль Firebase или Firebase CLI , вы можете найти подробные результаты тестов в консоли Firebase . Читайте дальше, чтобы узнать, как анализировать результаты тестов.
Посмотреть результаты теста
После загрузки или выбора теста и указания тестовых устройств вы можете просмотреть сводку результатов теста (включая журналы, видео и скриншоты) на панели Test Lab консоли Firebase . Ваши необработанные результаты теста также сохраняются в контейнере Google Cloud для более удобного использования с системами CI.
Чтобы увидеть результаты тестирования, перейдите в раздел Test Lab консоли Firebase .
Там вы найдете список всех предыдущих тестовых запусков. Чтобы понять результаты, полезно немного узнать о тестовых матрицах: когда вы запускаете тест или набор тестовых случаев для выбранных вами устройств и конфигураций, Test Lab запускает тест против вашего приложения в пакете, а затем отображает результаты в виде тестовой матрицы .
Устройства × Выполнения тестов = Тестовая матрица
- Устройство
- Физическое или виртуальное устройство (только Android), на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, ориентации экрана и локали (также известной как географические и языковые настройки).
- Тест, выполнение теста
- Тест (или набор тестовых случаев), который должен быть запущен на устройстве. Вы можете запустить один тест на устройство или, по желанию, разбить тест на части и запустить его тестовые случаи на разных устройствах.
- Тестовая матрица
- Содержит статусы и результаты тестов для ваших тестовых исполнений. Если любое тестовое исполнение в матрице не удается, вся матрица не удается.
Интерпретировать результаты тестовой матрицы
Если вы начинаете тесты в консоли Firebase , Test Lab перенаправляет вас прямо в матрицу текущего теста, где вы можете наблюдать за ходом выполнения тестов. Если вы использовали инструмент командной строки, вы можете перейти по предоставленному URL-адресу, чтобы попасть на страницу матрицы текущего теста.
Матрица имеет строку для каждого тестового выполнения Test Lab запускает. Значок перед именем выполнения отображает статус этого выполнения:
- play_circle_outline В процессе: Тестовое выполнение все еще выполняется. Выполнение может занять до часа, в зависимости от количества и сложности тестов в вашем приложении.
- check_circle Пройдено: ни один из тестов выполнения не провален.
- предупреждение Не удалось: по крайней мере один из тестов выполнения не пройден.
- ошибка Неопределенность: Результаты теста неопределенны, возможно, из-за ошибки Test Lab .
- блок Пропущен: Test Lab пропустил ваш тест, поскольку выбранная вами комбинация устройства и версии ОС недоступна.
Интерпретация результатов одного выполнения теста
На странице результатов тестовой матрицы щелкните одно из выполнений теста, чтобы увидеть результат этого конкретного выполнения теста.
На странице отображается статистика выполнения этого теста, включая проблемы, возникшие в ходе тестирования, список тестовых случаев, журналы выполнения и видеозапись выполнения теста.
Подробные результаты теста
Подробные результаты теста доступны в контейнере Google Cloud Storage в течение 90 дней. Нажмите «Просмотреть исходные файлы» на странице результатов выполнения теста, чтобы увидеть контейнер.
Чтобы сохранить подробные результаты тестирования дольше 90 дней, отправьте результаты тестирования в более постоянный контейнер Cloud Storage , которым вы владеете, с помощью параметра командной строки gcloud --results-bucket . Затем вы можете задать параметр Age , чтобы определить, как долго Cloud Storage хранит результаты. Для получения дополнительной информации об изменении параметра Age см. раздел Условия жизненного цикла .