Когда вы обращаетесь к своим пользователям или начинаете новую маркетинговую кампанию, вы хотите убедиться, что делаете это правильно. Тестирование A/B может помочь вам найти оптимальную формулировку и презентацию, тестируя варианты сообщений на выбранных частях вашей пользовательской базы. Независимо от того, является ли ваша цель лучшим удержанием или конверсией в предложении, тестирование A/B может выполнить статистический анализ, чтобы определить, превосходит ли вариант сообщения базовый уровень для выбранной вами цели.
Для A/B-тестирования вариантов функций с использованием базового уровня выполните следующие действия:
- Создайте свой эксперимент.
- Проверьте свой эксперимент на тестовом устройстве.
- Управляйте своим экспериментом.
Создать эксперимент
Эксперимент, использующий Firebase In-App Messaging позволяет оценить несколько вариантов одного сообщения внутри приложения.
Войдите в консоль Firebase и убедитесь, что в вашем проекте включен Google Analytics , чтобы эксперимент имел доступ к данным Analytics .
Если вы не включили Google Analytics при создании проекта, вы можете включить его на вкладке «Интеграции» , доступ к которой можно получить, выбрав > «Параметры проекта» в консоли Firebase .
В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
Нажмите «Создать эксперимент» , а затем выберите «Сообщения в приложении», когда будет предложено указать службу, с которой вы хотите поэкспериментировать.
Либо в меню навигации консоли Firebase разверните Engage , затем нажмите In-App Messaging . Затем нажмите New experimental .
Введите Имя и необязательное Описание для вашего эксперимента и нажмите Далее .
Заполните поля Targeting , сначала выбрав приложение, которое использует ваш эксперимент. Вы также можете настроить таргетинг на подмножество пользователей для участия в вашем эксперименте, выбрав параметры, которые включают следующее:
- Версия: Одна или несколько версий вашего приложения.
- Аудитория пользователей: Analytics аудитории, используемые для таргетинга пользователей, которые могут быть включены в эксперимент.
- Свойство пользователя: одно или несколько свойств пользователя Analytics для выбора пользователей, которые могут быть включены в эксперимент.
- Страна/регион: Одна или несколько стран или регионов для выбора пользователей, которые могут быть включены в эксперимент.
- Язык устройства: один или несколько языков и локалей, используемых для выбора пользователей, которые могут быть включены в эксперимент.
- Первое открытие: таргетинг пользователей на основе того, когда они впервые открыли ваше приложение.
- Последнее взаимодействие с приложением: таргетинг пользователей на основе последнего времени их взаимодействия с вашим приложением.
Установите процент целевых пользователей: выберите процент пользователей вашего приложения, соответствующий критериям, заданным в разделе «Целевые пользователи» , который вы хотите равномерно разделить между базовым значением и одним или несколькими вариантами в вашем эксперименте. Это может быть любой процент от 0,01% до 100%. Проценты случайным образом переназначаются пользователям для каждого эксперимента, включая дублированные эксперименты.
В разделе «Варианты» настройте базовое сообщение в приложении для отправки базовой группе, используя интерфейс конструктора сообщений, который вы используете для обычной кампании по обмену сообщениями в приложении.
Чтобы добавить вариант в ваш эксперимент, нажмите Добавить вариант . По умолчанию эксперименты имеют одну базовую линию и один вариант.
(необязательно) Введите более описательное название для каждого варианта.
(необязательно) В верхней части раздела «Варианты» нажмите кнопку «Сравнить варианты» , чтобы сравнить еще один вариант сообщения рядом с базовым сообщением.
Определите целевую метрику для вашего эксперимента, которую вы будете использовать при оценке вариантов эксперимента, а также любые дополнительные метрики из списка, которые вы хотите использовать. Эти метрики включают встроенные цели (вовлеченность, покупки, доход, удержание и т. д.), события конверсии Analytics и другие события Analytics .
Настройте расписание эксперимента:
- Установите дату начала и окончания эксперимента.
- Установите, как будут запускаться сообщения внутри приложения для всех вариантов.
Нажмите «Обзор» , чтобы сохранить эксперимент.
Вам разрешено проводить до 300 экспериментов на проект, из которых до 24 могут быть запущены, а остальные — черновыми или завершенными.
Проверьте свой эксперимент на тестовом устройстве
Для каждой установки Firebase вы можете получить связанный с ней токен аутентификации установки. Вы можете использовать этот токен для тестирования определенных вариантов эксперимента на тестовом устройстве с установленным приложением. Чтобы проверить эксперимент на тестовом устройстве, выполните следующие действия:
- Получите токен аутентификации для установки следующим образом:
Быстрый
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- На панели навигации консоли Firebase нажмите A/B-тестирование .
- Нажмите «Черновик» (и/или «Выполнение» для экспериментов Remote Config), наведите курсор на свой эксперимент, щелкните контекстное меню ( more_vert ), а затем нажмите «Управление тестовыми устройствами» .
- Введите токен аутентификации установки для тестового устройства и выберите вариант эксперимента для отправки на это тестовое устройство.
- Запустите приложение и убедитесь, что выбранный вариант принимается на тестовом устройстве.
Дополнительную информацию об установках Firebase см. в разделе Управление установками Firebase .
Управляйте своим экспериментом
Независимо от того, создаете ли вы эксперимент с помощью Remote Config , Notifications Composer или Firebase In-App Messaging , вы можете проверить и запустить свой эксперимент, отслеживать его ход и увеличивать количество пользователей, включенных в текущий эксперимент.
Когда ваш эксперимент будет завершен, вы можете записать настройки, используемые победившим вариантом, а затем распространить эти настройки на всех пользователей. Или вы можете запустить еще один эксперимент.
Начать эксперимент
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Черновик» , а затем нажмите на название вашего эксперимента.
- Чтобы убедиться, что в вашем приложении есть пользователи, которые будут включены в ваш эксперимент, разверните сведения о проекте и проверьте наличие числа больше 0% в разделе «Таргетинг и распространение» (например, 1% пользователей, соответствующих критериям ).
- Чтобы изменить эксперимент, нажмите «Изменить» .
- Чтобы начать эксперимент, нажмите Начать эксперимент . Вы можете запустить до 24 экспериментов на проект одновременно.
Мониторинг эксперимента
По прошествии некоторого времени после начала эксперимента вы можете проверить его ход и посмотреть, как выглядят результаты для пользователей, которые уже приняли в нем участие.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
Нажмите Running , а затем нажмите или найдите название вашего эксперимента. На этой странице вы можете просмотреть различные наблюдаемые и смоделированные статистические данные о вашем запущенном эксперименте, включая следующее:
- % разницы от базовой линии : Мера улучшения метрики для данного варианта по сравнению с базовой линией. Рассчитывается путем сравнения диапазона значений для варианта с диапазоном значений для базовой линии.
- Вероятность превзойти базовый уровень : расчетная вероятность того, что данный вариант превзойдет базовый уровень для выбранной метрики.
- observed_metric per user : на основе результатов эксперимента это прогнозируемый диапазон, в который со временем попадет значение метрики.
- Total observed_metric : Наблюдаемое кумулятивное значение для базовой линии или варианта. Значение используется для измерения того, насколько хорошо работает каждый экспериментальный вариант, и используется для расчета Improvement , Value range , Probability to beat baseline , and Probability to be the best variant . В зависимости от измеряемой метрики этот столбец может быть помечен как "Duration per user," "Revenue per user," "Retention rate," или "Conversion rate".
После того, как ваш эксперимент продлится некоторое время (не менее 7 дней для FCM и In-App Messaging или 14 дней для Remote Config ), данные на этой странице покажут, какой вариант, если таковой имеется, является «лидером». Некоторые измерения сопровождаются столбчатой диаграммой, которая представляет данные в визуальном формате.
Проведите эксперимент для всех пользователей
После того, как эксперимент продлится достаточно долго, и у вас появится «лидер» или выигрышный вариант для вашей целевой метрики, вы можете выпустить эксперимент для 100% пользователей. Это позволяет вам выбрать вариант для публикации для всех пользователей в дальнейшем. Даже если ваш эксперимент не создал явного победителя, вы все равно можете выбрать выпустить вариант для всех своих пользователей.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Завершено» или «Выполняется» , выберите эксперимент, который вы хотите запустить для всех пользователей, нажмите контекстное меню ( ) «Развернуть вариант» .
Распространите свой эксперимент на всех пользователей, выполнив одно из следующих действий:
- Для эксперимента, в котором используется компоновщик уведомлений , используйте диалоговое окно « Развернуть сообщение» , чтобы отправить сообщение оставшимся целевым пользователям, которые не участвовали в эксперименте.
- Для эксперимента Remote Config выберите вариант, чтобы определить, какие значения параметров Remote Config следует обновить. Критерии таргетинга, определенные при создании эксперимента, добавляются в качестве нового условия в ваш шаблон, чтобы гарантировать, что развертывание затронет только пользователей, на которых нацелен эксперимент. После нажатия кнопки Review в Remote Config для просмотра изменений нажмите кнопку Publish changes , чтобы завершить развертывание.
- Для эксперимента In-App Messaging используйте диалоговое окно, чтобы определить, какой вариант необходимо развернуть как отдельную кампанию In-App Messaging . После выбора вы будете перенаправлены на экран создания FIAM для внесения любых изменений (если требуется) перед публикацией.
Расширить эксперимент
Если вы обнаружите, что эксперимент не привлекает достаточного количества пользователей для A/B Testing чтобы объявить лидера, вы можете расширить распространение своего эксперимента, чтобы охватить больший процент пользовательской базы приложения.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Выберите текущий эксперимент, который вы хотите отредактировать.
- В Обзоре эксперимента щелкните контекстное меню ( ), а затем щелкните Изменить запущенный эксперимент .
- В диалоговом окне «Нацеливание» отображается опция увеличения процента пользователей, участвующих в текущем эксперименте. Выберите число, превышающее текущий процент, и нажмите «Опубликовать» . Эксперимент будет распространен на указанный вами процент пользователей.
Дублировать или остановить эксперимент
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Завершено» или «Выполняется» , наведите указатель мыши на свой эксперимент, щелкните контекстное меню ( ), а затем нажмите «Дублировать эксперимент» или «Остановить эксперимент» .
Ориентация на пользователя
Вы можете выбрать пользователей, которых хотите включить в свой эксперимент, используя следующие критерии таргетинга пользователей.
| Критерий таргетинга | Оператор(ы) | Ценности) | Примечание |
|---|---|---|---|
| Версия | содержит, не содержит, точно совпадает, содержит регулярное выражение | Введите значение для одной или нескольких версий приложения, которые вы хотите включить в эксперимент. | При использовании любого из операторов «содержит» , «не содержит» или «точно соответствует » можно указать список значений, разделенных запятыми. При использовании оператора contains regex вы можете создавать регулярные выражения в формате RE2 . Ваше регулярное выражение может соответствовать всей или части целевой строки версии. Вы также можете использовать якоря ^ и $ для соответствия началу, концу или всей целевой строке. |
| Аудитория(и) пользователей | включает в себя все, включает в себя по крайней мере одно из, не включает в себя все, не включает в себя по крайней мере один из | Выберите одну или несколько аудиторий Analytics , чтобы охватить пользователей, которые могут быть включены в ваш эксперимент. | Некоторые эксперименты, нацеленные на аудитории Google Analytics могут потребовать несколько дней для накопления данных, поскольку они подвержены задержке обработки данных Analytics . Вы, скорее всего, столкнетесь с этой задержкой с новыми пользователями, которые обычно регистрируются в квалификационные аудитории через 24–48 часов после создания, или для недавно созданных аудиторий . |
| Собственность пользователя | Для текста: содержит, не содержит, точно совпадает, содержит регулярное выражение Для чисел: <, ≤, =, ≥, > | Свойство пользователя Analytics используется для выбора пользователей, которые могут быть включены в эксперимент, с рядом вариантов выбора значений свойств пользователя. На клиенте можно задать только строковые значения для свойств пользователя. Для условий, использующих числовые операторы, служба Remote Config преобразует значение соответствующего свойства пользователя в целое число/число с плавающей точкой. | При использовании оператора contains regex вы можете создавать регулярные выражения в формате RE2 . Ваше регулярное выражение может соответствовать всей или части целевой строки версии. Вы также можете использовать якоря ^ и $ для соответствия началу, концу или всей целевой строке. |
| Страна/регион | Н/Д | Одна или несколько стран или регионов, используемых для отбора пользователей, которые могут быть включены в эксперимент. | |
| Языки | Н/Д | Один или несколько языков и локалей, используемых для выбора пользователей, которые могут быть включены в эксперимент. | |
| Первый открытый | Больше, чем Меньше, чем Между | Таргетинг пользователей на основе времени первого открытия ими вашего приложения (указывается в днях). | |
| Последнее использование приложения | Больше, чем Меньше, чем Между | Таргетинг пользователей на основе времени их последнего взаимодействия с вашим приложением, указанного в днях. |
Метрики A/B Testing
При создании эксперимента вы выбираете основную или целевую метрику, которая используется для определения победившего варианта. Вам также следует отслеживать другие метрики, чтобы лучше понять эффективность каждого варианта эксперимента и отслеживать важные тенденции, которые могут различаться для каждого варианта, например, удержание пользователей, стабильность приложения и доход от покупок в приложении. В своем эксперименте вы можете отслеживать до пяти нецелевых метрик.
Например, предположим, что вы добавили новые покупки в приложении и хотите сравнить эффективность двух разных сообщений «подталкивания». В этом случае вы можете решить установить доход от покупки в качестве целевой метрики, поскольку вы хотите, чтобы выигрышный вариант представлял уведомление, которое привело к наибольшему доходу от покупки в приложении. И поскольку вы также хотите отслеживать, какой вариант привел к большему количеству будущих конверсий и удержанию пользователей, вы можете добавить следующее в Другие метрики для отслеживания :- Расчетный общий доход , чтобы увидеть, как ваш совокупный доход от покупок в приложении и рекламы отличается в двух вариантах
- Удержание (1 день) , Удержание (2-3 дня) , Удержание (4-7 дней) для отслеживания ежедневного/еженедельного удержания пользователей
В следующих таблицах представлена подробная информация о том, как рассчитываются целевые показатели и другие показатели.
Показатели цели
| Метрическая | Описание |
|---|---|
| Пользователи без сбоев | Процент пользователей, не столкнувшихся с ошибками в вашем приложении, которые были обнаружены Firebase Crashlytics SDK в ходе эксперимента. |
| Предполагаемый доход от рекламы | Предполагаемый доход от рекламы. |
| Предполагаемый общий доход | Совокупная стоимость покупки и предполагаемые доходы от рекламы. |
| Доход от покупки | Объединенное значение для всех событий purchase и in_app_purchase . |
| Удержание (1 день) | Количество пользователей, которые ежедневно возвращаются в ваше приложение. |
| Удержание (2-3 дня) | Количество пользователей, которые возвращаются в ваше приложение в течение 2–3 дней. |
| Удержание (4-7 дней) | Количество пользователей, которые возвращаются в ваше приложение в течение 4–7 дней. |
| Удержание (8-14 дней) | Количество пользователей, которые возвращаются в ваше приложение в течение 8–14 дней. |
| Удержание (15+ дней) | Количество пользователей, которые возвращаются в ваше приложение через 15 или более дней после последнего использования. |
| первый_открытый | Событие Analytics , которое срабатывает, когда пользователь впервые открывает приложение после его установки или переустановки. Используется как часть воронки конверсии. |
Другие показатели
| Метрическая | Описание |
|---|---|
| уведомление_отклонить | Событие Analytics , которое срабатывает при отклонении уведомления, отправленного составителем уведомлений (только для Android). |
| уведомление_получить | Событие Analytics , которое срабатывает при получении уведомления, отправленного составителем уведомлений, когда приложение находится в фоновом режиме (только для Android). |
| os_update | Событие Analytics , которое отслеживает, когда операционная система устройства обновляется до новой версии. Чтобы узнать больше, см. Автоматически собираемые события . |
| экран_вид | Событие Analytics , отслеживающее просмотренные в вашем приложении экраны. Чтобы узнать больше, см. раздел Track Screenviews . |
| начало_сеанса | Событие Analytics , которое подсчитывает сеансы пользователя в вашем приложении. Чтобы узнать больше, см. Автоматически собранные события . |