В этом руководстве рассказывается о ключевых понятиях, связанных с развертыванием Remote Config. Вы узнаете:
- Как работает участие в группе внедрения
- Знать, когда использовать развертывание, а когда – A/B-тестирование.
- Подробнее о том, как интерпретировать результаты внедрения…
Как устроены группы развертывания
Когда вы создаете новое развертывание и назначаете процент, Firebase помещает часть вашей аудитории такого же размера в контрольную группу, чтобы получить точные результаты при сравнении производительности включенной функции, в результате чего получаются следующие группы.
- Включено. Устройства пользователей, назначенные этой группе, получают значение, которое вы настраиваете при развертывании.
- Контрольная группа. Устройства пользователей, назначенные в эту группу, получают значение, которое они получили бы от Remote Config, а не значение развертывания.
- Не назначено. Устройства пользователей в этой группе получают значение, которое они получили бы от Remote Config, но не используются в результатах сравнения развертывания.
То есть если вы развертываете функцию для 2 % пользователей, они добавляются в группу "Включено", а ещё 2 % пользователей добавляются в контрольную группу, которая используется для сравнения. 96 % пользователей остаются в группе "Не назначено".
Такой подход позволяет справедливо сравнить эффективность пользователей и устройств, которые получают значение развертывания, и тех, которые его не получают, а также эффективно определить успех или неудачу развертывания на странице Результаты развертывания.
Назначение группы развертывания остается неизменным на всех этапах развертывания. То есть если в рамках одного развертывания вы уменьшите процент до 0 %, все пользователи снова будут получать значение параметра, определенное в шаблоне Remote Config. Если вы решите увеличить процент развертывания, пользователи, которые входили в предыдущие группы (экспериментальную или контрольную), вернутся в группу, к которой они были изначально отнесены, и получат значения, соответствующие этим группам.
Когда вы убедитесь, что выпуск прошел успешно, и решите полностью запустить его для 100 % целевых пользователей, Firebase перестанет использовать контрольную группу, и все целевые пользователи и устройства получат значение развертывания.
Когда использовать развертывание, а когда – A/B-тестирование?
Поэтапное внедрение Remote Config и A/B Testing подходит для разных сценариев использования, и эти функции могут дополнять друг друга.
Поэтапное внедрение – это постепенный выпуск новой функции для определенной группы пользователей. Например, вы можете выбрать пользователей из определенной страны или тех, кто использует определенную версию приложения. Поэтапное внедрение позволяет снизить риски и протестировать новые функции в реальных условиях, но под строгим контролем, чтобы оценить их эффективность. Вы также можете отслеживать, как ваши серверные службы справляются с дополнительной нагрузкой от новой функции, и приблизительно оценивать использование, чтобы убедиться, что ваше изменение масштабируемо, прежде чем выпускать его для более широкой аудитории.
Поэтапное внедрение – отличный инструмент для ситуаций, когда вы добавляете новые функции, которые значительно меняют функциональность, изменения, которые могут привести к непредсказуемым результатам, или изменения, которые могут повлиять на вашу внутреннюю инфраструктуру, сервисы или внешние API.
A/B Testing позволяет показывать пользователям разные версии функции или элемента приложения, например обновленный интерфейс, другой рекламный текст или измененный уровень сложности в игре. Затем вы можете показывать разные варианты пользователям, чтобы узнать, какой из них дает лучшие результаты по выбранному показателю (например, вовлеченность пользователей, клики по объявлениям и доход).
Используйте A/B Testing, чтобы принимать решения на основе данных, оптимизировать работу и лучше понимать предпочтения пользователей. Это идеальный вариант, когда у вас есть несколько сопоставимых вариантов и очень конкретные цели. Например, A/B Testing подходит для изменений, когда вы хотите настроить приложение, чтобы улучшить определенный показатель, например, протестировать, какое место размещения объявлений приводит к большему количеству кликов.
Также рекомендуется объединить поэтапное внедрение Remote Config и A/B Testing в общую стратегию. Сначала создайте A/B-тестирование с ограниченным набором пользователей, чтобы определить вариант, который дает оптимальные результаты для ваших ключевых показателей. Когда A/B Testing определит лидера, создайте внедрение с победившим вариантом. Постепенно увеличивайте число пользователей, которым доступна новая версия, и следите за ее стабильностью и ключевыми показателями. Когда вы убедитесь, что все работает как надо, опубликуйте обновление для всех.
Как интерпретировать результаты внедрения
После публикации поэтапного внедрения вы почти сразу начнете видеть результаты.
В консоли Firebase результаты можно посмотреть несколькими способами:
На странице DevOps & Engagement (DevOps и взаимодействие) > Remote Config (Удаленная конфигурация) > Parameters (Параметры) разверните параметр, настроенный для внедрения, и под ним нажмите View results (Посмотреть результаты).
На странице DevOps & Engagement (DevOps и вовлечение) > Remote Config (Удаленная конфигурация) > Rollouts (Развертывания) нажмите на название развертывания.
В верхней части страницы DevOps и вовлечение > Remote Config > Результаты есть меню, в котором можно выбрать представления для определенных приложений. Результаты разделены на несколько разделов:
- Раздел Сводка, в котором указан заданный процент внедрения и есть возможность отменить или изменить внедрение. В развернутом виде он содержит Обзор сведений о конфигурации внедрения и Историю изменений.
Раздел Пользователи, в котором показано количество уникальных установок приложения, получивших шаблон развертывания, в следующих группах:
- Включено. Количество экземпляров приложения, которые соответствуют условию целевого развертывания и получили значение развертывания.
- Контрольная группа. Количество экземпляров приложения, которые соответствуют условию целевого развертывания и получили неизмененное значение.
- Цель. Расчетное общее количество экземпляров, соответствующих условию, которое вы задали в развертывании. Они должны получить либо развертывание, либо неизмененное значение.
Подробнее о группах развертывания…
Разделы Crashlytics и Analytics, в которых представлены данные для сравнения включенной и контрольной групп. Вы можете отфильтровать собранные данные за последние 24 часа, с момента последней публикации или за последние 7 дней. По умолчанию показываются данные за последние 24 часа.
Crashlytics результат для внедрений
Вы можете посмотреть общее количество сбоев, некритических ошибок и ошибок ANR, которые произошли во время внедрения. Для каждой категории результатов показывается линейчатая диаграмма, на которой сравниваются общие показатели пользователей из групп Включено и Контрольная, которые соответствуют условию развертывания.
- Сбои. Количество и процент сбоев, а также число уникальных пользователей, столкнувшихся со сбоями, в экспериментальной и контрольной группах.
- Некритические ошибки. Количество и процент некритических ошибок, а также число уникальных пользователей, которые с ними столкнулись.
- Ошибки ANR (только для приложений Android). Количество и процент ошибок "Приложение не отвечает", а также число уникальных пользователей, которые столкнулись с одной или несколькими такими ошибками.
Чтобы посмотреть подробную информацию о сбоях, нажмите Посмотреть в Crashlytics. Откроется страница Crashlytics с активным фильтром для внедрения, результаты которого вы просматривали. Результаты развертывания на странице Crashlytics учитывают всех пользователей, которые когда-либо видели соответствующий вариант (Включено или Контрольная группа). Вы можете посмотреть данные о сбоях в контрольной группе, в группе с включенной функцией или в обеих группах.
Google Analytics результат для внедрений
В разделе результатов развертывания Google Analytics сравниваются Analytics показателей для всех пользователей, которые когда-либо были включены в экспериментальную или контрольную группу. Данные представлены в виде подробных сведений и графиков. Доступны три показателя:
- Общий доход. Общая сумма дохода, включая доход от рекламы и покупок, в долларах США. Вы можете отфильтровать результаты, чтобы посмотреть данные только о доходе от рекламы или от покупок.
- Всего конверсий. Общее количество всех событий-конверсий. Вы можете отфильтровать результаты по конверсии, которую хотите выделить.
- Общее время взаимодействия. Общее время взаимодействия пользователей с одним из вариантов развертывания. Общее время взаимодействия отображается в формате "часы:минуты:секунды". Например, 01:31:28. На графике показаны данные за период времени, выбранный над разделом Crashlytics.