Как создать A/B-тестирование в Firebase Remote Config

Применяя настройки Firebase Remote Config для приложения с активной пользовательской базой, вы должны быть уверены, что все делаете правильно. Эксперименты A/B Testing позволяют определить:

• Как лучше всего реализовать функцию, чтобы оптимизировать взаимодействие с пользователем. Слишком часто разработчики приложений узнают о том, что пользователям не нравится новая функция или обновленный интерфейс, только когда рейтинг приложения в магазине начинает падать. A/B Testing поможет вам понять, нравятся ли пользователям новые варианты функций или они предпочитают текущую версию приложения. Кроме того, если большинство пользователей останется в контрольной группе, ваша пользовательская база сможет продолжать использовать ваше приложение без каких-либо изменений в его поведении или внешнем виде до завершения эксперимента.
• Лучший способ оптимизировать взаимодействие с пользователями для достижения бизнес-цели. Иногда вы вносите изменения в продукт, чтобы максимизировать какой-либо показатель, например доход или удержание. В A/B Testing вы задаете бизнес-цель, а Firebase проводит статистический анализ, чтобы определить, превосходит ли вариант контрольные настройки по выбранной цели.

Чтобы провести A/B-тестирование вариантов функции с контрольной группой, выполните следующие действия:

1. Создайте эксперимент.
2. Управление экспериментом.

Создание эксперимента

Эксперимент Remote Config позволяет оценить несколько вариантов одного или нескольких параметров Remote Config.

1. Убедитесь, что в вашем проекте включен сервис Google Analytics, чтобы у эксперимента был доступ к данным Analytics.

   Если вы не включили Google Analytics при создании проекта, вы можете сделать это на вкладке settings Settings (Настройки) > Integrations (Интеграции) в консоли Firebase.

2. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > A/B Testing.

3. Нажмите Создать эксперимент и выберите Remote Config, когда вам будет предложено указать сервис, который вы хотите протестировать.

4. В разделе Варианты выберите исходный вариант и хотя бы один вариант для эксперимента. Вы можете добавить один или несколько параметров для эксперимента. Вы можете повторить этот шаг, чтобы добавить в эксперимент несколько параметров.

5. Если вы хотите добавить в эксперимент несколько вариантов, нажмите Добавить вариант.

6. Измените один или несколько параметров для определенных вариантов. Для пользователей, не участвующих в эксперименте, значения параметров остаются прежними.

7. Разверните раздел Вес вариантов, чтобы посмотреть или изменить вес вариантов для эксперимента. По умолчанию каждый вариант имеет одинаковый вес. Учитывайте, что при неравном весе время сбора данных может увеличиться и после начала эксперимента изменить вес нельзя.

8. Задайте критерии таргетинга для эксперимента, используя условия Remote Config:

   • Использовать существующее условие. Если в шаблоне Remote Config уже есть условие, соответствующее вашей целевой аудитории, выберите его из списка.

   • Проверьте порядок оценки условий. Убедитесь, что условия на странице Условия упорядочены по приоритету. Поскольку Remote Config оценивает условия последовательно сверху вниз, другие условия с более высоким приоритетом могут помешать достаточному количеству пользователей достичь условия, связанного с вашим экспериментом.

   • Создать условие. Если ни одно из существующих условий не соответствует вашим требованиям к таргетингу или вы хотите продублировать существующее условие (например, чтобы не блокировать условие, которое используется другими параметрами), создайте новое условие, сначала выбрав приложение, в котором проводится эксперимент. Если тестируемый параметр также использует существующее (или другое перекрывающееся) условие, убедитесь, что новое условие эксперимента размещено выше существующего на вкладке Условия (чтобы у него был более высокий приоритет оценки). В противном случае пользователи будут сначала соответствовать существующему условию и не попадут в эксперимент.

     Затем вы можете настроить таргетинг на определенную подгруппу пользователей, нажав и и выбрав один или несколько вариантов из следующего списка:

     • Версия. Одна или несколько версий приложения.
     • Номер сборки. Номер сборки (Apple) или код версии (Android) вашего приложения.
     • Платформа. Одна или несколько целевых платформ (iOS, Android или веб).
     • Операционная система. Таргетинг на пользователей веб-приложений с учетом операционной системы и ее версии.
     • Браузер. Таргетинг на пользователей веб-приложений с учетом браузера и его версии.
     • Категория устройства. Таргетинг на пользователей веб-приложений в зависимости от того, используют ли они мобильные устройства.
     • Языки. Один или несколько языков и регионов, используемых для выбора пользователей, которые могут быть включены в эксперимент.
     • Страна/регион. Выберите одну или несколько стран или регионов, чтобы включить в эксперимент пользователей из них.
     • Аудитория пользователей. Analytics аудиторий, используемых для таргетинга на пользователей, которые могут быть включены в эксперимент.
     • Свойство пользователя. Одно или несколько свойств пользователя Analytics для выбора пользователей, которые могут быть включены в эксперимент.
     • Пользователь в случайном проценте. Таргетинг на случайно выбранный процент пользователей в определенном диапазоне процентилей.
     • Импортированный сегмент. Таргетинг на пользователей, которые относятся к специальным импортированным сегментам, загруженным в ваш проект.
     • Дата и время. Таргетинг на пользователей в определенный период времени.
     • Первый запуск. Таргетинг на пользователей, которые впервые открыли ваше приложение.
     • Идентификатор установки. Вы можете настроить таргетинг на определенные тестовые устройства или экземпляры клиентов, используя их идентификаторы установки Firebase (FID).
     • Пользователь существует. Таргетинг на всех пользователей во всех приложениях проекта.
     • Специальный сигнал. Таргетинг на пользователей на основе специальных сигналов типа "ключ-значение" на стороне клиента, передаваемых во время выполнения.

9. Укажите охват. Введите процент пользовательской базы вашего приложения, соответствующей критериям, заданным в разделе Целевые пользователи, которую вы хотите равномерно распределить между контрольной группой и одним или несколькими вариантами в эксперименте. Это может быть любое значение от 0 до 100 %. Пользователи случайным образом распределяются по всем экспериментам, включая дублированные.

10. При необходимости задайте событие активации, чтобы в эксперименте учитывались только данные пользователей, которые сначала активировали определенное событие Analytics. Обратите внимание, что все пользователи, соответствующие параметрам таргетинга, получат экспериментальные значения Remote Config, но в результаты эксперимента будут включены только те, кто активирует событие активации.

    Чтобы эксперимент был корректным, убедитесь, что выбранное событие происходит после того, как приложение активирует полученные значения конфигурации. Кроме того, нельзя использовать следующие события, поскольку они всегда происходят до активации полученных значений:

    • app_install
    • app_remove
    • app_update

    Событие Analytics, выбранное в качестве события активации, не должно использоваться в качестве основного или дополнительного показателя в том же эксперименте. В противном случае в консоли Firebase возникнет ошибка проверки и эксперимент не будет запущен.

11. В разделе Цели выберите основной показатель для отслеживания и добавьте из списка дополнительные показатели. К ним относятся встроенные цели (покупки, доход, удержание, пользователи без сбоев и т. д.), события-конверсии Analytics и другие события Analytics. Когда все будет готово, нажмите Далее.

12. Нажмите Сохранить. Чтобы запустить эксперимент, необходимо опубликовать шаблон.

В одном проекте может быть до 300 экспериментов (включая развертывания), из которых до 24 могут быть активными, а остальные – завершенными.

Как управлять экспериментом

Создав эксперимент с помощью Remote Config, вы можете запустить его, отслеживать его ход и увеличивать количество пользователей, участвующих в нем.

Когда эксперимент завершится, вы сможете применить настройки победившего варианта ко всем пользователям. или провести другой эксперимент.

Как изменить эксперимент

1. В разделе DevOps & Engagement (DevOps и взаимодействие) меню навигации консоли Firebase нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.
3. Нажмите Выполняется и выберите эксперимент, который нужно изменить.
4. Откройте контекстное меню more_vert и выберите Изменить текущий эксперимент.
5. Чтобы убедиться, что в эксперимент будут включены пользователи вашего приложения, разверните сведения и проверьте, что в разделе Таргетинг и распространение указано число больше 0 % (например, 1 % пользователей соответствует критериям).

Как отслеживать эксперимент

Через некоторое время после запуска эксперимента вы можете проверить его ход и посмотреть результаты для пользователей, которые уже приняли в нем участие.

1. В разделе DevOps & Engagement (DevOps и взаимодействие) меню навигации консоли Firebase нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.

3. Нажмите Выполняется, а затем выберите или найдите название эксперимента. На этой странице вы можете посмотреть различные наблюдаемые и смоделированные статистические данные о текущем эксперименте, в том числе:

   • % разницы с базовым вариантом. Мера улучшения показателя для определенного варианта по сравнению с базовым. Рассчитывается путем сравнения диапазона значений для варианта с диапазоном значений для базового значения.
   • Вероятность опережения базовой модели. Расчетная вероятность того, что определенный вариант превзойдет базовую модель по выбранному показателю.
   • observed_metric на пользователя. Прогнозируемый диапазон значений показателя, рассчитанный на основе результатов эксперимента.
   • Итоговое значение observed_metric. Наблюдаемое совокупное значение для контрольной или экспериментальной группы. Это значение используется для оценки эффективности каждого варианта эксперимента, а также для расчета улучшения, диапазона значений, вероятности опережения базовой модели и вероятности того, что вариант окажется лучшим. В зависимости от отслеживаемого показателя этот столбец может называться "Продолжительность на пользователя", "Доход на пользователя", "Показатель удержания" или "Коэффициент конверсии".

4. После того как эксперимент продлится некоторое время (14 дней для Remote Config), на этой странице появятся данные о том, какой вариант является лидером. Некоторые показатели сопровождаются линейчатой диаграммой, которая представляет данные в визуальном формате.

Как запустить эксперимент для всех пользователей

Когда будет определен выигравший вариант, вы сможете выпустить его для всех пользователей. вы сможете показывать его всем пользователям. Даже если в эксперименте нет явного победителя, вы можете распространить определенный вариант на всех пользователей.

1. В разделе DevOps & Engagement (DevOps и взаимодействие) меню навигации консоли Firebase нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.
3. Нажмите Завершено или Выполняется, выберите эксперимент, который хотите применить ко всем пользователям, откройте контекстное меню more_vert и нажмите Применить вариант.
4. Чтобы применить результаты эксперимента ко всем пользователям, выполните следующие действия:
   • Для эксперимента Remote Config выберите вариант, чтобы определить, какие значения параметров Remote Config нужно обновить. Критерии таргетинга, заданные при создании эксперимента, будут добавлены в шаблон в качестве нового условия, чтобы развертывание затронуло только пользователей, на которых был нацелен эксперимент. Нажмите Проверить в Remote Config, чтобы посмотреть изменения, а затем – Опубликовать изменения, чтобы завершить развертывание.

Как расширить эксперимент

Если вы обнаружите, что эксперимент не привлекает достаточно пользователей, чтобы A/B Testing могла объявить лидера, вы можете увеличить распространение эксперимента, чтобы охватить больший процент пользовательской базы приложения.

1. В меню навигации консоли Firebase в разделе DevOps & Engagement (DevOps и вовлечение) нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.
3. Выберите активный эксперимент, который нужно изменить.
4. В разделе Обзор эксперимента откройте контекстное меню more_vert и выберите Изменить текущий эксперимент.
5. В диалоговом окне Таргетинг вы увидите вариант, позволяющий увеличить долю пользователей, участвующих в текущем эксперименте. Выберите число, которое больше текущего процента, и нажмите Опубликовать. Эксперимент будет запущен для указанного вами процента пользователей.

Как скопировать эксперимент

1. В меню навигации консоли Firebase в разделе DevOps & Engagement (DevOps и вовлечение) нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.
3. Выберите активный или завершенный эксперимент, который нужно остановить.
4. Нажмите Завершено или Выполняется, наведите указатель на эксперимент, откройте контекстное меню (more_vert) и выберите Дублировать эксперимент или Остановить эксперимент.

Как остановить эксперимент

1. В меню навигации консоли Firebase в разделе DevOps & Engagement (DevOps и вовлечение) нажмите Remote Config.
2. Откройте вкладку A/B-тестирование.
3. Выберите активный или завершенный эксперимент, который нужно остановить.
4. Нажмите Завершено или Выполняется, наведите указатель на эксперимент, нажмите на контекстное меню (more_vert) и выберите Остановить эксперимент.

Идентификация веб-клиента и сохранение эксперимента

Когда пользователь впервые запускает веб-приложение с помощью Firebase A/B Testing в браузере, генерируется уникальный идентификатор установки Firebase (FID). Этот идентификатор постоянно хранится в IndexedDB браузера, чтобы идентифицировать экземпляр приложения в разных сеансах.

Firebase A/B Testing использует FID, чтобы распределять пользователей по вариантам эксперимента, а Google Analytics – чтобы агрегировать события для измерения и анализа поведения пользователей в каждом варианте.

Поскольку идентификатор установки Firebase хранится в IndexedDB, Firebase A/B Testing считает пользователя новым, если он заходит в приложение из другого браузера или в режиме инкогнито, а также если он очистил IndexedDB в браузере. Это означает, что пользователь может быть включен в разные варианты эксперимента при использовании разных браузеров или сеансов просмотра.

Таргетинг на пользователей

Вы можете настроить таргетинг на пользователей, которых хотите включить в эксперимент, используя следующие критерии таргетинга.

В консоли Firebase поддерживаются следующие типы правил: Эквивалентные функции доступны в Remote Config REST API, как описано в справочнике по условным выражениям.

A/B Testing показателя

При создании эксперимента вы выбираете основной, или целевой, показатель, который используется для определения наиболее эффективного варианта. Также отслеживайте другие показатели, чтобы лучше понимать эффективность каждого варианта эксперимента и выявлять важные тенденции, которые могут различаться для каждого варианта, например удержание пользователей, стабильность приложения и доход от покупок в приложении. В эксперименте можно отслеживать до пяти нецелевых показателей.

Например, вы используете Remote Config, чтобы запустить два разных игровых процесса в приложении, и хотите оптимизировать их для покупок в приложении и дохода от рекламы, а также отслеживать стабильность и удержание пользователей для каждого варианта. В этом случае в качестве целевого показателя можно выбрать Общий расчетный доход, поскольку он включает доход от покупок в приложении и доход от рекламы. В качестве других показателей для отслеживания можно добавить следующие:

• Чтобы отслеживать удержание пользователей за день и за неделю, добавьте показатели Удержание (2–3 дня) и Удержание (4–7 дней).
• Чтобы сравнить стабильность двух игровых процессов, добавьте показатель Пользователи, не столкнувшиеся со сбоями.
• Чтобы посмотреть более подробные данные по каждому типу дохода, добавьте показатели Доход от покупок и Расчетный доход от рекламы.

В таблицах ниже показано, как рассчитываются показатели целей и другие показатели.

Показатели целей

Другие показатели

Экспорт данных в BigQuery

Данные экспериментов A/B Testing можно просматривать не только в консоли Firebase, но и в BigQuery. Хотя в A/B Testing нет отдельной таблицы BigQuery, данные об участии в экспериментах и вариантах хранятся в каждом событии Google Analytics в таблицах событий Analytics.

Свойства пользователя, содержащие информацию об эксперименте, имеют вид userProperty.key like "firebase_exp_%" или userProperty.key = "firebase_exp_01", где 01 – идентификатор эксперимента, а userProperty.value.string_value – индекс варианта эксперимента (начиная с нуля).

Вы можете использовать эти свойства пользователей для извлечения данных эксперимента. Это позволяет анализировать результаты экспериментов с разных точек зрения и независимо проверять результаты A/B Testing.

Чтобы начать работу, выполните следующие действия:

1. Включите экспорт BigQuery для Google Analytics в консоли Firebase
2. Доступ к данным A/B Testing с помощью BigQuery
3. Примеры запросов

Включите экспорт BigQuery для Google Analytics в консоли Firebase.

Если у вас тарифный план Spark, вы можете использовать изолированную среду BigQuery, чтобы получить бесплатный доступ к BigQuery с учетом ограничений изолированной среды. Подробнее о ценах и тестовой среде BigQuery…

Сначала убедитесь, что вы экспортируете данные Analytics в BigQuery.

1. В консоли Firebase перейдите в раздел settings Settings (Настройки) > Integrations (Интеграции).

2. На карточке BigQuery нажмите Управление и убедитесь, что данные Analytics экспортируются в BigQuery.

   Если на карточке написано Связать, вам нужно настроить экспорт (перейдите к следующему шагу).

3. Если вам нужно настроить экспорт:

   1. Ознакомьтесь с информацией в разделе О связывании Firebase с BigQuery и нажмите Далее.

   2. В разделе Configure integration (Настройка интеграции) включите Google Analytics.

   3. Выберите регион и настройки экспорта.

   4. Нажмите Связать с BigQuery.

В зависимости от выбранного способа экспорта данных таблицы могут стать доступны в течение суток. Подробнее о том BigQuery, как экспортировать данные проекта в BigQuery…

Доступ к данным A/B Testing в BigQuery

Прежде чем запрашивать данные для определенного эксперимента, вам нужно получить некоторые или все из следующих данных, которые будут использоваться в запросе:

• Идентификатор эксперимента. Его можно найти в URL страницы Обзор эксперимента. Например, если URL выглядит как https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, то идентификатор эксперимента – 25.
• Идентификатор ресурса Google Analytics. Это девятизначный идентификатор ресурса Google Analytics. Его можно найти в Google Analytics. Он также появляется в BigQuery, когда вы разворачиваете название проекта, чтобы посмотреть название таблицы событий Google Analytics (project_name.analytics_000000000.events).
• Дата эксперимента. Чтобы запрос выполнялся быстрее и эффективнее, рекомендуем ограничить его Google Analytics разделами таблицы ежедневных событий, которые содержат данные эксперимента. Такие таблицы имеют суффикс YYYYMMDD. Например, если эксперимент проводился со 2 февраля по 2 мая 2026 года, укажите _TABLE_SUFFIX between '20260202' AND '20260502'. Пример приведен в разделе Как выбрать значения для определенного эксперимента.
• Названия событий. Обычно они соответствуют целевым показателям, которые вы настроили в эксперименте. Например, события in_app_purchase, ad_impression или user_retention.

После того как вы соберете информацию, необходимую для создания запроса:

1. В консоли Google Cloud перейдите в раздел BigQuery.
2. Выберите проект, затем выберите Создать SQL-запрос.
3. Введите запрос. Примеры запросов приведены в разделе Примеры запросов.
4. Нажмите Выполнить.

Как запрашивать данные эксперимента с помощью автоматически созданного запроса в консоли Firebase

Если вы используете тарифный план Blaze, на странице Обзор эксперимента будет доступен пример запроса, который возвращает название эксперимента, варианты, названия событий и количество событий для просматриваемого эксперимента.

Чтобы получить и выполнить автоматически созданный запрос, сделайте следующее:

1. В консоли Firebase выберите DevOps & Engagement (DevOps и вовлечение) > A/B Testing (A/B-тестирование).
2. Выберите эксперимент A/B Testing, чтобы открыть обзор эксперимента.
3. В меню параметров в разделе Интеграция с BigQuery выберите Запросить данные эксперимента. В консоли Google Cloud откроется ваш проект в BigQuery и появится базовый запрос, который можно использовать для получения данных об эксперименте.

Ниже приведен пример запроса, созданного для эксперимента с тремя вариантами (включая контрольный), который называется "Winter welcome experiment". Он возвращает название активного эксперимента, название варианта, уникальное событие и количество событий для каждого события. Обратите внимание, что конструктор запросов не указывает название вашего проекта в названии таблицы, поскольку он открывается непосредственно в вашем проекте.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20260202' AND '20260502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Дополнительные примеры запросов можно найти в статье Примеры запросов.

Примеры запросов

В следующих разделах приведены примеры запросов, которые можно использовать для извлечения данных об экспериментах A/B Testing из таблиц событий Google Analytics.

Извлечь значения стандартного отклонения для покупок и экспериментов из всех экспериментов

Вы можете использовать данные результатов эксперимента, чтобы самостоятельно проверить результаты Firebase A/B Testing. Следующая инструкция SQL BigQuery извлекает варианты эксперимента, количество уникальных пользователей в каждом варианте, а также суммирует общий доход от событий in_app_purchase и ecommerce_purchase и стандартные отклонения для всех экспериментов в диапазоне дат, указанном в качестве дат начала и окончания _TABLE_SUFFIX. Полученные данные можно использовать в генераторе статистической значимости для односторонних t-критериев, чтобы убедиться, что результаты Firebase соответствуют вашему анализу.

Подробнее о том, как A/B Testing рассчитывает статистический вывод, читайте в статье Как интерпретировать результаты тестирования.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Как выбрать значения для определенного эксперимента

В примере ниже показано, как получить данные для определенного эксперимента в BigQuery. Этот пример запроса возвращает название эксперимента, названия вариантов (включая контрольный), названия событий и количество событий.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName