Агент тестирования приложений — это агент генерации, управления и выполнения тестовых случаев, работающий на базе Gemini в Firebase . Вы определяете цели тестирования на естественном языке, а агент использует ИИ для понимания и навигации по вашему приложению, моделирования взаимодействия с пользователем и предоставления подробных результатов тестирования.
Как агент по тестированию приложений использует ваши данные
App Testing agent предоставляется Gemini в Firebase и регулируется на тех же условиях. Подробнее о том, как Gemini в Firebase использует ваши данные, см. в разделе Как Gemini в Firebase использует ваши данные.
Прежде чем начать
Если вы еще этого не сделали, зарегистрируйте свое приложение в Firebase .
Если вы не используете другие продукты Firebase, вам нужно только создать проект и зарегистрировать свое приложение. Вам не нужно добавлять какие-либо SDK в свое приложение. Однако, если вы решите использовать дополнительные продукты в будущем, обязательно выполните все шаги в разделе Добавление Firebase с помощью консоли Firebase .
Когда вы будете готовы распространить предварительную версию своего приложения среди тестировщиков, создайте APK или AAB, используя обычный процесс, и загрузите его в App Distribution в консоли Firebase . Вы должны подписать APK с помощью своего отладочного ключа или ключа подписи приложения.
Создать тестовый пример
Для запуска тестов под управлением ИИ агент тестирования приложений использует тестовые случаи на естественном языке для выполнения тестов вашего приложения.
Каждый тестовый случай разбит на шаги, которые будут выполнены последовательно. Шаги позволяют разбить тестовый случай на фазы, каждая из которых имеет свои собственные критерии успеха. Агент может выполнять много действий в течение любого одного шага.
Чтобы создать тестовый пример, откройте страницу App Distribution консоли Firebase и выполните следующие действия:
- На вкладке Тестовые случаи нажмите Новый тестовый случай . Если вы не хотите создавать свой собственный тестовый случай, вы можете изменить или использовать предоставленный пример тестового случая .
- В диалоговом окне Add test case дайте тестовому случаю имя. Оно используется для идентификации теста, но игнорируется агентом.
- Рассмотрите возможность разбить тест на несколько этапов, нажав кнопку «Добавить еще один этап» .
- Дайте каждому шагу цель , описывающую, что должен сделать агент по тестированию приложений на этом шаге.
- (Необязательно) Добавьте подсказку , чтобы предоставить дополнительную информацию, которая поможет агенту по тестированию приложений понять и сориентироваться в вашем приложении на этом этапе.
- (Необязательно) Добавьте критерии успеха , чтобы помочь агенту по тестированию приложений определить, был ли этап успешно завершен.
- Нажмите «Сохранить», как только вы закончите настройку теста.
Пример тестового случая
Ниже приведен пример создания тестового случая с использованием агента App Testing:
| Тестирование домашней страницы | |
|---|---|
Название теста | Загрузка домашней страницы |
Цель | Загрузить домашнюю страницу |
Намекать | Пропустите все экраны регистрации. Закройте все всплывающие окна. Не входите в систему. |
Критерии успеха | Главная страница приложения отображается на экране, все изображения загружены, никаких ошибок не отображается. |
Провести тест
Агент App Testing позволяет вам запускать тесты под управлением ИИ в консоли, нажав кнопку Run tests на странице Releases или Test Cases. Это откроет экран настройки агента App Testing, где вы можете выбрать один или несколько существующих тестовых случаев для выполнения агентом. Вы также можете выбрать устройства, на которых вы хотите проводить тестирование, и указать, следует ли предоставлять какие-либо учетные данные для входа.
Вы также можете выбрать запуск теста Random crawl , изменив тип теста. Тесты Random crawl используют функцию Automated Tester .
Вы можете просмотреть результаты своих тестов на странице Releases на вкладке App Testing agent релиза. Кнопка View details откроет диалоговое окно Test Results и покажет вам любые проблемы, скриншоты приложения и действия, которые Gemini предпринял во время теста.
Автоматически тестируйте свои сборки
Чтобы автоматически запускать тесты агента App Testing для новых сборок, например из конвейеров CI/CD, вы можете распространять свои сборки в агенте с помощью плагинов Gradle или Fastlane App Distribution или Firebase CLI.
Для использования функции агента App Testing необходимо указать как минимум одно тестовое устройство и один идентификатор тестового случая. Идентификаторы тестовых случаев можно найти и загрузить на странице Test Cases консоли Firebase . Для получения дополнительной информации о начале работы с Firebase CLI и различных способах настройки дистрибутивов см. Distribute Android apps to testers using the Firebase CLI .
Запустите команду appdistribution:distribute , чтобы загрузить свое приложение, и используйте следующие параметры для настройки дистрибутива для функции агента тестирования приложений:
| appdistribution:параметры распространения | |
|---|---|
--test-devices или --test-devices-file | Тестовые устройства, сборки которых вы хотите распространить на функцию агента тестирования приложений. Вы можете указать тестовые устройства в виде списка тестовых устройств, разделенного точкой с запятой: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"Или вы можете указать путь к текстовому файлу, содержащему список тестовых устройств, разделенных точкой с запятой: --test-devices-file: "/path/to/test-devices.txt" |
--test-username | Имя пользователя для автоматического входа в систему, которое будет использоваться во время тестов. |
--test-password или --test-password-file | Пароль для автоматического входа в систему, который будет использоваться во время тестов. Или вы можете указать путь к текстовому файлу, содержащему пароль: --test-password-file: "/path/to/test-password.txt" |
--test-non-blocking | Запускайте тесты асинхронно. Посетите консоль Firebase для получения результатов автоматического теста. |
--test-case-ids или --test-case-ids-file | Список идентификаторов тестовых случаев, разделенных запятыми, для запуска автоматизированных тестов на базе ИИ: --test-case-ids: "load-app,play-the-first-level"Или вы можете указать путь к текстовому файлу, содержащему список идентификаторов тестовых случаев, разделенных запятыми или символами новой строки: --test-case-ids-file: "/path/to/test-case-ids.txt" |
Для использования функции агента тестирования приложений необходимо указать как минимум одно тестовое устройство и один идентификатор тестового случая. Идентификаторы тестовых случаев можно найти и загрузить на странице Тестовые случаи консоли Firebase . Для получения дополнительной информации о начале работы с Gradle и различных способах настройки дистрибутивов см. Распределение приложений Android среди тестировщиков с помощью Gradle .
Вы можете настроить App Distribution , добавив по крайней мере один раздел firebaseAppDistribution и используя следующие параметры для настройки распространения для функции агента тестирования приложений:
| Параметры сборки App Distribution | |
|---|---|
testDevices или testDevicesFile | Тестовые устройства, сборки которых вы хотите распространить на функцию агента тестирования приложений. Вы можете указать тестовые устройства в виде списка спецификаций устройств, разделенных точкой с запятой. testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"Или вы можете указать путь к файлу, содержащему список спецификаций устройства, разделенных точкой с запятой: testDevicesFile="/path/to/testDevices.txt" |
testUsername | Имя пользователя для автоматического входа в систему, которое будет использоваться во время тестов. |
testPassword или testPasswordFile | Пароль для автоматического входа в систему, который будет использоваться во время тестов. Или вы можете указать путь к текстовому файлу, содержащему пароль: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking | Запускайте тесты асинхронно. Посетите консоль FIrebase для получения результатов автоматического теста. |
testCases или testCasesFile | Список идентификаторов тестовых случаев, разделенных запятыми, для запуска автоматизированных тестов на базе ИИ: testCases: "load-app,play-the-first-level"Или вы можете указать путь к текстовому файлу, содержащему список идентификаторов тестовых случаев, разделенных запятыми или символами новой строки: testCasesFile: "/path/to/test-case-ids.txt" |
Для использования функции агента тестирования приложений необходимо указать как минимум одно тестовое устройство и один идентификатор тестового случая. Идентификаторы тестовых случаев можно найти и загрузить на странице Тестовые случаи консоли Firebase . Для получения дополнительной информации о начале работы с fastlane и различных способах настройки дистрибуции см. раздел Распространение приложений Android среди тестировщиков с помощью fastlane .
В полосе ./fastlane/Fastfile добавьте блок firebase_app_distribution . Используйте следующие параметры для настройки распределения на функцию агента App Testing:
| параметры firebase_app_distribution | |
|---|---|
test_devices или test_devices_file | Тестовые устройства, которые вы хотите распространить на функции агента App Testing. Вы можете указать тестовые устройства в виде списка тестовых устройств, разделенных точкой с запятой: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"Или вы можете указать путь к текстовому файлу, содержащему список тестовых устройств, разделенных точкой с запятой: test_devices_file: "/path/to/test-devices.txt" |
test_username | Имя пользователя для автоматического входа в систему, которое будет использоваться во время тестов. |
test_password или test_password_file | Пароль для автоматического входа в систему, который будет использоваться во время тестов. Или вы можете указать путь к текстовому файлу, содержащему пароль: test_password_file: "/path/to/test-password.txt" |
test_non_blocking | Запускайте тесты асинхронно. Посетите консоль Firebase для получения результатов автоматического теста. |
--test_case_ids или --test_case_ids_file | Список идентификаторов тестовых случаев, разделенных запятыми, для запуска автоматизированных тестов на базе ИИ: --test_case_ids: "load-app,play-the-first-level"Или вы можете указать путь к текстовому файлу, содержащему список идентификаторов тестовых случаев, разделенных запятыми или символами новой строки: --test_case_ids_file: "/path/to/test-case-ids.txt" |
Отладка результатов вашего теста
Если результаты вашего теста отличаются от ожидаемых, вы можете отладить свой тест с помощью переключателя Показать вид агента в разделе Просмотреть подробности на странице Результаты теста. Вид агента показывает вам элементы на экране, которые агент App Testing смог обнаружить при использовании информации о доступности приложения. Если вы хотите более подробно рассмотреть то, что увидел агент, вы можете загрузить эту информацию из меню действий.
Вы также можете воспользоваться кнопкой «Просмотр артефактов» на странице «Результаты теста», чтобы просмотреть все видео, журналы и другие артефакты облака для результатов вашего теста.
Известные проблемы и ограничения
Предварительная версия агента тестирования приложений имеет некоторые известные ограничения:
- Поскольку агент тестирования приложений использует генеративный ИИ для тестирования вашего приложения, иногда он будет выполнять разные действия, следуя тем же инструкциям.
- Агент тестирования приложений поддерживает только следующие действия: нажатие, ввод текста, смахивание вверх/вниз/влево/вправо и ожидание.
- Агент App Testing испытывает трудности с выполнением тестов, содержащих только один шаг, требующий много действий для выполнения. Он работает лучше, когда сложные задачи разбиваются на несколько более коротких шагов.
- Агент App Testing иногда не прокручивает, чтобы показать другие элементы за пределами экрана. Это происходит чаще, когда нет визуального указания на прокручиваемость. В качестве обходного пути можно использовать поле «подсказки», чтобы предложить прокрутку.
- Агент по тестированию приложений иногда испытывает трудности с подсчетом, например, при выполнении действия определенное количество раз.
- Агент App Testing не может перемещаться по вашему приложению, если включен
FLAG_SECURE. Вместо снимков экрана вашего приложения он увидит только пустой экран.
Тестирование квот
В течение предварительного просмотра тесты под управлением ИИ будут предлагаться бесплатно в рамках квоты. Квота по умолчанию составляет 200 тестов в месяц.
Обратите внимание, что если вы решите запустить несколько тестовых случаев или запустить один и тот же тестовый случай на нескольких устройствах, это будет считаться несколькими тестами. Например, если вы запустите 2 тестовых случая на 2 устройствах, это будет считаться в общей сложности 4 тестами.
Чтобы увеличить квоту сверх лимита по умолчанию, обратитесь в службу поддержки Firebase и расскажите о своем варианте использования.