В этом руководстве представлена информация о ключевых концепциях, связанных с развертыванием Remote Config , чтобы вы могли:
- Понять, как работает членство в группе развертывания.
- Знайте, когда использовать развертывание, а когда — A/B-тестирование.
- Узнайте, как интерпретировать результаты внедрения.
Понять членство в группе развертывания
Когда вы создаете новый выпуск и назначаете процент, Firebase помещает равновеликую часть вашей аудитории в контрольную группу для получения точных результатов при сравнении производительности включенной функции, в результате чего получаются следующие группы.
- Включено : пользовательские устройства, назначенные в эту группу, получают значение, которое вы настраиваете в своем развертывании.
- Управление : Пользовательские устройства, назначенные в эту группу, получают значение, которое они в противном случае получили бы от Remote Config , а не значение развертывания.
- Не назначено: пользовательские устройства в этой группе получают значение, которое они в противном случае получили бы от Remote Config , но не используются в результатах сравнения развертываний.
То есть, если вы выполните развертывание для 2% ваших пользователей, они будут добавлены в группу «Включено», а еще 2% ваших пользователей будут добавлены в контрольную группу, которая используется для сравнения. 96% ваших пользователей останутся в группе «Не назначено».
Такой подход обеспечивает справедливое сравнение производительности пользователей и устройств, получивших и не получивших ценность от вашего развертывания, а также позволяет эффективно определять успешность или неудачу развертывания на странице результатов развертывания .
Назначение группы развертывания согласовано на всех этапах развертывания. То есть, в пределах одного развертывания, если вы уменьшите процент до 0%, все пользователи вернутся к получению значения параметра, определенного в шаблоне Remote Config . Если вы позже решите увеличить процент развертывания, пользователи, которые были частью предыдущих групп Enabled или Control, вернутся в группу, которая им была изначально назначена, и получат значения, соответствующие этим группам.
Когда вы убедитесь, что ваш релиз прошел успешно, и решите полностью запустить его для 100% целевых пользователей, Firebase больше не будет использовать контрольную группу, а все целевые пользователи и устройства получат значение развертывания.
Когда использовать развертывание, а когда A/B-тестирование?
Развертывание Remote Config и A/B Testing подходят для немного разных вариантов использования и могут использоваться как взаимодополняющие методы.
Развертывания — это постепенные выпуски, которые часто используются для выпуска новой функции для избранной группы пользователей. Вы можете захотеть нацелиться на пользователей в определенной стране или использующих определенную версию вашего приложения. Используйте развертывания для снижения риска, для тестирования новых функций в реальной среде с жестким контролем, чтобы вы могли увидеть, как работает функция. Вы также можете отслеживать, как работают ваши внутренние службы с дополнительной нагрузкой новой функции, и приблизительное использование, чтобы убедиться, что ваши изменения масштабируемы, прежде чем выпускать их для более широкой аудитории.
Развертывания являются отличными инструментами для ситуаций, когда вы внедряете новые функции, которые существенно меняют функциональность, изменения, которые могут привести к непредсказуемым результатам, или изменения, которые могут повлиять на вашу внутреннюю инфраструктуру, службы или внешние API.
A/B Testing дает вам возможность представить несколько версий функции или элемента приложения, например, обновление внешнего вида и поведения пользовательского интерфейса, изменение рекламного текста, обновление уровня сложности игры. Затем вы можете представить различные варианты своим пользователям, чтобы узнать, какой вариант обеспечивает лучшие результаты на основе выбранной вами метрики (например, вовлеченность пользователей, клики по рекламе и доход).
Используйте A/B Testing для принятия решений на основе данных, оптимизации и понимания предпочтений ваших пользователей. Это идеально подходит для ситуаций, когда у вас есть несколько сопоставимых вариантов и очень конкретные цели. Например, A/B Testing подходит для изменений, когда вы хотите настроить свое приложение, чтобы улучшить определенную метрику, например, проверить, какое размещение баннерной рекламы приводит к большему количеству кликов.
Также хорошей идеей будет объединить развертывание Remote Config и A/B Testing в рамках общей стратегии: сначала создайте A/B-тест с ограниченным набором пользователей, чтобы определить вариант, который дает оптимальные результаты для ваших ключевых показателей. Затем, после того как A/B Testing определит лидера , создайте развертывание с победившим вариантом. Отслеживайте его стабильность и ключевые показатели по мере постепенного увеличения числа задействованных пользователей и, убедившись в его эффективности, разверните его до 100%.
Понять результаты внедрения
После публикации развертывания вы должны практически сразу увидеть результаты.
Просмотреть результаты можно несколькими способами:
- На странице «Параметры» разверните параметр, настроенный для развертывания, и под развертыванием нажмите «Просмотреть результаты» .
- На странице «Развертывания» щелкните имя развертывания.
Селектор приложений в верхней части страницы результатов позволяет выбирать представления для определенных приложений. Результаты разделены на несколько разделов:
- Раздел Summary , который показывает настроенный процент развертывания и предоставляет возможность откатить или изменить развертывание. При развертывании он показывает Обзор деталей конфигурации вашего развертывания и историю изменений .
Раздел «Пользователи» , в котором отображается количество уникальных установок приложения, которые получили шаблон развертывания в следующих группах:
- Включено: количество экземпляров приложения, соответствующих целевому условию развертывания и получивших значение развертывания.
- Контроль: Количество экземпляров приложения, соответствующих целевому условию развертывания и получивших неизмененное значение.
- Цель : расчетное общее количество экземпляров, соответствующих условию, заданному вами при развертывании, которые должны получить либо развертывание, либо неизменное значение.
Узнайте больше в статье «Понимание членства в группе развертывания» .
Разделы Crashlytics и Analytics , которые показывают сравнительные данные для групп Enabled и Control. Вы можете отфильтровать собранные данные по параметрам Last 24 hours , Since last publish , или Last 7 days . Last 24 hour — это представление по умолчанию.
Результаты Crashlytics для развертываний
Вы можете увидеть общее количество сбоев , нефатальных сбоев и ошибок ANR , которые произошли во время вашего развертывания. Каждая категория результатов показывает столбчатую диаграмму, которая сравнивает необработанные итоги пользователей Enabled и Control , которые соответствовали условию развертывания.
- Сбои: показывает количество и процент сбоев, а также количество уникальных пользователей, у которых произошли сбои, для групп «Включено» и «Контроль».
- Нефатальные ошибки: показывает количество и процент нефатальных ошибок, количество уникальных пользователей, у которых возникли нефатальные ошибки.
- Ошибки ANR (только для приложений Android): показывает количество и процент событий «Приложение не отвечает», а также количество уникальных пользователей, столкнувшихся с одним или несколькими событиями ANR.
Для получения более подробной информации о сбоях нажмите Просмотреть больше в Crashlytics . Это откроет страницу Crashlytics с активным фильтром для развертывания, результаты которого вы проверяли. Результаты развертывания на странице Crashlytics измеряют всех пользователей, которые когда-либо подвергались воздействию соответствующего варианта, Enabled или Control . Вы можете выбрать просмотр сбоев группы Control, сбоев группы Enabled или обоих.
Результаты Google Analytics для внедрений
Раздел результатов развертывания Google Analytics сравнивает метрики Analytics для всех пользователей, которые когда-либо были подвержены группам Enabled или Control, в деталях и в графических представлениях. Предоставляются три метрики:
- Общий доход: показывает общую сумму дохода, включая доход от рекламы и доход от покупок, в долларах США. Вы можете отфильтровать результаты, чтобы показать результаты специально для дохода от рекламы или дохода от покупок.
- Всего конверсий: Показывает сырое количество суммы всех событий конверсии. Вы можете отфильтровать результаты по конверсии, которую хотите выделить.
- Общее время взаимодействия: показывает общее время взаимодействия, которое ваши пользователи провели с одним из вариантов развертывания. Общее время взаимодействия отображается в формате Часы:Минуты:Секунды. Например, 01:31:28. График показывает данные за период времени, который вы выбрали над разделом Crashlytics .