Используя Firebase Remote Config для развертывания настроек приложения с активной базой пользователей, вы хотите быть уверены в правильности своих действий. Эксперименты A/B Testing помогут вам определить следующее:
- Лучший способ внедрить функцию для оптимизации пользовательского опыта. Слишком часто разработчики приложений узнают, что пользователям не нравится новая функция или обновлённый пользовательский опыт, только после того, как рейтинг приложения в магазине приложений снизится. A/B-тестирование может помочь определить, нравятся ли пользователям новые варианты функций или же они предпочитают существующее приложение. Кроме того, сохранение большинства пользователей в базовой группе гарантирует, что большая часть вашей пользовательской базы сможет продолжать использовать приложение, не испытывая никаких изменений в его поведении или внешнем виде до завершения эксперимента.
- Лучший способ оптимизировать пользовательский опыт для достижения бизнес-цели. Иногда вы вносите изменения в продукт, чтобы максимизировать какой-либо показатель, например, доход или удержание. С помощью A/B-тестирования вы ставите бизнес-цель, а Firebase выполняет статистический анализ, чтобы определить, превосходит ли вариант базовый уровень для достижения выбранной цели.
Для A/B-тестирования вариантов функций с использованием базовой линии выполните следующие действия:
- Создайте свой эксперимент.
- Проверьте свой эксперимент на тестовом устройстве.
- Управляйте своим экспериментом.
Создать эксперимент
Эксперимент Remote Config позволяет оценить несколько вариантов по одному или нескольким параметрам Remote Config .
Войдите в консоль Firebase и убедитесь, что в вашем проекте включен Google Analytics , чтобы эксперимент имел доступ к данным Analytics .
Если вы не включили Google Analytics при создании проекта, вы можете включить его на вкладке «Интеграции» , доступ к которой осуществляется через > «Настройки проекта» в консоли Firebase .
В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
Нажмите «Создать эксперимент» , а затем выберите Remote Config когда будет предложено указать службу, с которой вы хотите поэкспериментировать.
Введите имя и (необязательно) описание вашего эксперимента и нажмите кнопку «Далее» .
Заполните поля «Таргетинг» , сначала выбрав приложение, в котором будет использоваться ваш эксперимент. Вы также можете выбрать подгруппу пользователей для участия в эксперименте, нажав и , а затем выбрав варианты из следующего списка:
- Версия: Одна или несколько версий вашего приложения.
- Номер сборки: код версии приложения.
- Языки: один или несколько языков и локалей, используемых для выбора пользователей, которые могут быть включены в эксперимент.
- Страна/регион: одна или несколько стран или регионов для выбора пользователей, которых следует включить в эксперимент.
- Аудитория пользователей: Analytics аудитории, используемые для таргетинга пользователей, которые могут быть включены в эксперимент.
- Свойство пользователя: одно или несколько свойств пользователя Analytics для выбора пользователей, которые могут быть включены в эксперимент.
Первое открытие: таргетинг пользователей на основе того, когда они впервые открыли ваше приложение.
Таргетинг пользователей по времени первого открытия доступен после выбора приложения для Android или iOS. Поддерживается следующими версиями Remote Config SDK: Apple Platforms SDK v9.0.0+ и Android SDK v21.1.1+ ( Firebase BoM v30.3.0+).
Analytics также должна быть включена на клиенте во время первого открытого события.
Установите процент целевых пользователей: введите процент пользователей вашего приложения, соответствующий критериям, заданным в разделе «Целевые пользователи» , который вы хотите равномерно распределить между базовым значением и одним или несколькими вариантами эксперимента. Это может быть любой процент от 0,01% до 100%. Пользователи распределяются случайным образом для каждого эксперимента, включая дублирующиеся эксперименты.
При желании вы можете настроить событие активации, чтобы в вашем эксперименте учитывались только данные пользователей, которые первыми инициировали какое-либо событие Analytics . Обратите внимание, что все пользователи, соответствующие вашим параметрам таргетинга, получат экспериментальные значения Remote Config , но в результаты эксперимента будут включены только те, кто инициировал событие активации.
Чтобы эксперимент был корректным, убедитесь, что выбранное вами событие происходит после того, как приложение активирует полученные значения конфигурации. Кроме того, следующие события использовать нельзя, поскольку они всегда происходят до активации полученных значений:
-
app_install -
app_remove -
app_update -
dynamic_link_first_open
-
В разделе «Цели» эксперимента выберите основную метрику для отслеживания и добавьте любые дополнительные метрики из списка. К ним относятся встроенные цели (покупки, доход, удержание, пользователи без сбоев и т. д.), события-конверсии Analytics и другие события Analytics . После завершения нажмите кнопку «Далее» .
В разделе «Варианты» выберите базовую линию и хотя бы один вариант для эксперимента. Используйте список «Выбрать или создать новый» , чтобы добавить один или несколько параметров для эксперимента. Вы можете создать параметр, который ранее не использовался в консоли Firebase , но для того, чтобы он оказал какое-либо влияние, он должен существовать в вашем приложении. Вы можете повторить этот шаг, чтобы добавить несколько параметров в эксперимент.
(необязательно) Чтобы добавить в эксперимент более одного варианта, нажмите Добавить еще один вариант .
Измените один или несколько параметров для конкретных вариантов. Любые неизменённые параметры остаются неизменными для пользователей, не включённых в эксперимент.
Разверните раздел «Веса вариантов» , чтобы просмотреть или изменить веса вариантов для эксперимента. По умолчанию все варианты имеют одинаковый вес. Обратите внимание, что неравные веса могут увеличить время сбора данных, а веса нельзя будет изменить после начала эксперимента .
Нажмите «Обзор» , чтобы сохранить эксперимент.
Вам разрешено проводить до 300 экспериментов в одном проекте, из которых до 24 могут быть запущены, а остальные — черновыми или завершенными.
Проверьте свой эксперимент на тестовом устройстве
Для каждой установки Firebase вы можете получить связанный с ней токен авторизации. Этот токен можно использовать для тестирования определённых вариантов эксперимента на тестовом устройстве с установленным приложением. Чтобы проверить эксперимент на тестовом устройстве, выполните следующие действия:
- Получите токен авторизации для установки следующим образом:
Быстрый
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
С++
firebase::InitResult init_result; auto* installations_object = firebase::installations::Installations::GetInstance( firebase::App::GetInstance(), &init_result); installations_object->GetToken().OnCompletion( [](const firebase::Future<std::string>& future) { if (future.status() == kFutureStatusComplete && future.error() == firebase::installations::kErrorNone) { printf("Installations Auth Token %s\n", future.result()->c_str()); } });
Единство
Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith( task => { if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) { UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result)); } });
- На панели навигации консоли Firebase нажмите A/B-тестирование .
- Нажмите «Черновик» (и/или «Выполнение» для экспериментов удаленной конфигурации), наведите указатель мыши на свой эксперимент, щелкните контекстное меню ( more_vert ), а затем нажмите «Управление тестовыми устройствами» .
- Введите токен авторизации установки для тестового устройства и выберите вариант эксперимента для отправки на это тестовое устройство.
- Запустите приложение и убедитесь, что выбранный вариант принимается на тестовом устройстве.
Дополнительную информацию об установках Firebase см. в разделе Управление установками Firebase .
Управляйте своим экспериментом
Независимо от того, создаете ли вы эксперимент с помощью Remote Config , Notifications Composer или Firebase In-App Messaging , вы можете проверить и запустить свой эксперимент, отслеживать его ход и увеличивать количество пользователей, включенных в запущенный эксперимент.
После завершения эксперимента вы можете записать настройки, использованные в победившем варианте, а затем распространить их на всех пользователей. Или же вы можете провести ещё один эксперимент.
Начать эксперимент
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Черновик» , а затем нажмите название вашего эксперимента.
- Чтобы убедиться, что в вашем приложении есть пользователи, которые будут включены в ваш эксперимент, разверните сведения о проекте и проверьте наличие числа больше 0% в разделе «Таргетинг и распределение» (например, 1% пользователей, соответствующих критериям ).
- Чтобы изменить эксперимент, нажмите «Изменить» .
- Чтобы начать эксперимент, нажмите « Начать эксперимент» . Вы можете проводить до 24 экспериментов в рамках одного проекта одновременно.
Мониторинг эксперимента
По истечении некоторого времени с момента начала эксперимента вы можете проверить его ход и посмотреть, как выглядят результаты для пользователей, принявших участие в нем до сих пор.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
Нажмите «Выполняется» , а затем нажмите на название вашего эксперимента или выполните поиск. На этой странице вы можете просмотреть различные наблюдаемые и смоделированные статистические данные о вашем текущем эксперименте, включая следующие:
- Процент отличия от базового значения : показатель улучшения показателя для данного варианта по сравнению с базовым значением. Рассчитывается путём сравнения диапазона значений варианта с диапазоном значений базового значения.
- Вероятность превзойти базовый уровень : расчетная вероятность того, что данный вариант превзойдет базовый уровень для выбранной метрики.
- observed_metric per user : на основе результатов эксперимента это прогнозируемый диапазон, в который попадет значение метрики с течением времени.
- Общая observed_metric : наблюдаемое кумулятивное значение для базового уровня или варианта. Это значение используется для оценки эффективности каждого варианта эксперимента и для расчета показателей «Улучшение» , «Диапазон значений» , «Вероятность превзойти базовый уровень» и «Вероятность быть лучшим вариантом» . В зависимости от измеряемой метрики этот столбец может быть назван «Длительность на пользователя», «Доход на пользователя», «Коэффициент удержания» или «Коэффициент конверсии».
После того, как ваш эксперимент продлится некоторое время (не менее 7 дней для FCM и In-App Messaging или 14 дней для Remote Config ), данные на этой странице покажут, какой вариант, если таковой имеется, является «лидером». Некоторые измерения сопровождаются столбчатой диаграммой, которая представляет данные в наглядном формате.
Проведите эксперимент для всех пользователей
После того, как эксперимент продлится достаточно долго и определится «лидер» (вариант-победитель) по вашей целевой метрике, вы можете опубликовать его для 100% пользователей. Это позволит вам выбрать вариант для публикации для всех пользователей в будущем. Даже если в ходе эксперимента не будет выявлен явный победитель, вы всё равно можете опубликовать вариант для всех пользователей.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Завершено» или «Выполняется» , нажмите на эксперимент, который вы хотите запустить для всех пользователей, нажмите контекстное меню ( ) «Развернуть вариант» .
Распространите свой эксперимент на всех пользователей, выполнив одно из следующих действий:
- Для эксперимента, в котором используется компоновщик уведомлений , используйте диалоговое окно « Развернуть сообщение» , чтобы отправить сообщение оставшимся целевым пользователям, которые не участвовали в эксперименте.
- Для эксперимента Remote Config выберите вариант, чтобы определить, какие значения параметров Remote Config нужно обновить. Критерии таргетинга, заданные при создании эксперимента, добавляются в шаблон как новое условие, чтобы гарантировать, что внедрение коснётся только пользователей, на которых направлен эксперимент. После нажатия кнопки «Просмотр» в Remote Config для просмотра изменений нажмите кнопку «Опубликовать изменения» , чтобы завершить внедрение.
- Для эксперимента In-App Messaging используйте диалоговое окно, чтобы определить, какой вариант необходимо развернуть как отдельную кампанию In-App Messaging . После выбора варианта вы будете перенаправлены на экран создания сообщения FIAM для внесения необходимых изменений перед публикацией.
Расширить эксперимент
Если вы обнаружите, что эксперимент не привлекает достаточного количества пользователей для A/B Testing чтобы объявить лидера, вы можете расширить распространение своего эксперимента, чтобы охватить больший процент пользовательской базы приложения.
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Выберите текущий эксперимент, который вы хотите отредактировать.
- В Обзоре эксперимента щелкните контекстное меню ( ), а затем щелкните Изменить запущенный эксперимент .
- В диалоговом окне «Настройка таргетинга» отображается параметр, позволяющий увеличить процент пользователей, участвующих в текущем эксперименте. Выберите число, превышающее текущий процент, и нажмите «Опубликовать» . Эксперимент будет запущен для указанного вами процента пользователей.
Дублировать или остановить эксперимент
- В разделе «Взаимодействие» навигационного меню консоли Firebase нажмите A/B Testing .
- Нажмите «Завершено» или «Выполняется» , наведите указатель мыши на свой эксперимент, нажмите контекстное меню ( ), а затем нажмите «Дублировать эксперимент» или «Остановить эксперимент» .
таргетинг пользователей
Вы можете выбрать пользователей для включения в свой эксперимент, используя следующие критерии таргетинга пользователей.
| Критерий таргетинга | Оператор(ы) | Ценности) | Примечание | |
|---|---|---|---|---|
| Версия | содержит, не содержит, точно совпадает, содержит регулярное выражение | Введите значение для одной или нескольких версий приложения, которые вы хотите включить в эксперимент. | При использовании любого из операторов «содержит» , «не содержит» или «точно соответствует » можно указать список значений, разделенных запятыми. Используя оператор contains regex , вы можете создавать регулярные выражения в формате RE2 . Регулярное выражение может соответствовать всей целевой строке версии или её части. Вы также можете использовать якоря ^ и $ для соответствия началу, концу или всей целевой строке. | |
| Аудитория(и) пользователей | включает в себя все, включает в себя по крайней мере одно из: не включает в себя все, не включает в себя по крайней мере один из | Выберите одну или несколько аудиторий Analytics , чтобы охватить пользователей, которые могут быть включены в ваш эксперимент. | Для некоторых экспериментов, ориентированных на аудитории Google Analytics может потребоваться несколько дней для сбора данных, поскольку они подвержены задержкам обработки данных Analytics . Чаще всего эта задержка возникает при работе с новыми пользователями, которые обычно регистрируются в подходящих аудиториях через 24–48 часов после создания, или с недавно созданными аудиториями . Для Remote Config это означает, что даже если пользователь технически соответствует требованиям аудитории, но Analytics еще не добавил пользователя в аудиторию на момент выполнения `fetchAndActivate()`, пользователь не будет включен в эксперимент. | |
| Свойство пользователя | Для текста: содержит, не содержит, точно совпадает, содержит регулярное выражение Для чисел: <, ≤, =, ≥, > | Свойство пользователя Analytics используется для выбора пользователей, которые могут быть включены в эксперимент, с рядом вариантов выбора значений свойств пользователя. На клиенте можно задать только строковые значения для свойств пользователя. Для условий, использующих числовые операторы, служба Remote Config преобразует значение соответствующего свойства пользователя в целое число или число с плавающей точкой. | Используя оператор contains regex , вы можете создавать регулярные выражения в формате RE2 . Регулярное выражение может соответствовать всей целевой строке версии или её части. Вы также можете использовать якоря ^ и $ для соответствия началу, концу или всей целевой строке. | |
| Страна/регион | Н/Д | Одна или несколько стран или регионов, используемых для отбора пользователей, которые могут быть включены в эксперимент. | ||
| Языки | Н/Д | Один или несколько языков и локалей, используемых для выбора пользователей, которые могут быть включены в эксперимент. | ||
| Первый открытый | До После | Нацеливайте пользователей на основе того, когда они впервые открывают ваше приложение:
| Таргетинг пользователей по первому открытию доступен после выбора приложения для Android или iOS. В настоящее время он поддерживается следующими версиями Remote Config SDK: Apple Platforms SDK v9.0.0+ и Android SDK v21.1.1+ ( Firebase BoM v30.3.0+). Analytics также должна быть включена на клиенте во время первого открытого события. |
Метрики A/B Testing
При создании эксперимента вы выбираете основную, или целевую , метрику, которая используется для определения победившего варианта. Вам также следует отслеживать другие метрики, чтобы лучше понимать эффективность каждого варианта эксперимента и отслеживать важные тенденции, которые могут различаться для каждого варианта, например, удержание пользователей, стабильность приложения и доход от покупок внутри приложения. В ходе эксперимента вы можете отслеживать до пяти нецелевых метрик.
Например, вы используете Remote Config для запуска двух разных игровых процессов в своём приложении и хотите оптимизировать их для покупок внутри приложения и дохода от рекламы, а также отслеживать стабильность и удержание пользователей для каждого варианта. В этом случае вы можете выбрать «Предполагаемый общий доход» в качестве целевой метрики, поскольку он включает доход от покупок внутри приложения и доход от рекламы, а затем в поле «Другие отслеживаемые метрики» можно добавить следующее:
- Чтобы отслеживать ежедневное и еженедельное удержание пользователей, добавьте Удержание (2–3 дня) и Удержание (4–7 дней) .
- Чтобы сравнить стабильность двух игровых потоков, добавьте пользователей, у которых не было сбоев .
- Чтобы увидеть более подробные данные по каждому типу дохода, добавьте доход от покупки и предполагаемый доход от рекламы .
В следующих таблицах приведены подробные сведения о том, как рассчитываются целевые показатели и другие показатели.
Показатели цели
| Метрическая | Описание |
|---|---|
| Пользователи без сбоев | Процент пользователей, которые не столкнулись с ошибками в вашем приложении, которые были обнаружены Firebase Crashlytics SDK в ходе эксперимента. |
| Предполагаемый доход от рекламы | Предполагаемый доход от рекламы. |
| Предполагаемый общий доход | Совокупная стоимость покупки и предполагаемые доходы от рекламы. |
| Доход от покупки | Суммарное значение всех событий purchase и in_app_purchase . |
| Удержание (1 день) | Количество пользователей, которые ежедневно возвращаются в ваше приложение. |
| Удержание (2-3 дня) | Количество пользователей, которые возвращаются в ваше приложение в течение 2–3 дней. |
| Удержание (4-7 дней) | Количество пользователей, которые возвращаются в ваше приложение в течение 4–7 дней. |
| Удержание (8-14 дней) | Количество пользователей, которые возвращаются в ваше приложение в течение 8–14 дней. |
| Удержание (15+ дней) | Количество пользователей, которые возвращаются в ваше приложение через 15 или более дней после последнего использования. |
| первый_открытый | Событие Analytics , которое срабатывает при первом открытии пользователем приложения после его установки или переустановки. Используется как часть воронки конверсии. |
Другие показатели
| Метрическая | Описание |
|---|---|
| уведомление_отклонить | Событие Analytics , которое срабатывает при отклонении уведомления, отправленного компоновщиком уведомлений (только для Android). |
| уведомление_получить | Событие Analytics , которое срабатывает при получении уведомления, отправленного компоновщиком уведомлений, когда приложение находится в фоновом режиме (только для Android). |
| os_update | Событие Analytics , которое отслеживает момент обновления операционной системы устройства до новой версии. Подробнее см. в разделе Автоматически собираемые события . |
| экран_вид | Событие Analytics , отслеживающее просмотры экранов в вашем приложении. Подробнее см. в разделе Отслеживание просмотров экранов . |
| session_start | Событие Analytics , которое подсчитывает сеансы пользователей в вашем приложении. Подробнее см. в разделе Автоматически собираемые события . |
Экспорт данных BigQuery
Помимо просмотра данных экспериментов A/B Testing в консоли Firebase , вы можете просматривать и анализировать данные экспериментов в BigQuery . Хотя для A/B Testing нет отдельной таблицы BigQuery , данные об участии в экспериментах и вариантах хранятся в таблицах событий Google Analytics Analytics каждого события.
Пользовательские свойства, содержащие информацию об эксперименте, имеют вид userProperty.key like "firebase_exp_%" или userProperty.key = "firebase_exp_01" , где 01 — идентификатор эксперимента, а userProperty.value.string_value содержит индекс варианта эксперимента (начиная с нуля).
Вы можете использовать эти пользовательские свойства эксперимента для извлечения данных. Это даёт вам возможность анализировать результаты эксперимента различными способами и независимо проверять результаты A/B Testing .
Для начала выполните следующие действия, как описано в этом руководстве:
- Включить экспорт BigQuery для Google Analytics в консоли Firebase
- Доступ к данным A/B Testing с помощью BigQuery
- Изучите примеры запросов
Включить экспорт BigQuery для Google Analytics в консоли Firebase
Если у вас тарифный план Spark, вы можете использовать песочницу BigQuery для бесплатного доступа BigQuery с учётом ограничений песочницы . Подробнее см. в разделе «Цены и песочница BigQuery .
Сначала убедитесь, что вы экспортируете данные Analytics в BigQuery :
- Откройте вкладку «Интеграции» , доступ к которой можно получить, выбрав > «Настройки проекта» в консоли Firebase .
- Если вы уже используете BigQuery с другими сервисами Firebase, нажмите «Управление» . В противном случае нажмите «Связать» .
- Ознакомьтесь со статьей «О связывании Firebase с BigQuery , затем нажмите «Далее» .
- В разделе «Настройка интеграции» включите переключатель Google Analytics .
Выберите регион и выберите настройки экспорта.
Нажмите «Ссылка на BigQuery .
В зависимости от выбранного способа экспорта данных, таблицы могут стать доступными в течение суток. Подробнее об экспорте данных проекта в BigQuery см. в статье Экспорт данных проекта в BigQuery .
Доступ к данным A/B Testing в BigQuery
Прежде чем запрашивать данные для конкретного эксперимента, вам необходимо получить некоторые или все из следующих данных для использования в вашем запросе:
- Идентификатор эксперимента: его можно получить из URL-адреса страницы обзора эксперимента . Например, если ваш URL-адрес выглядит как
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, идентификатор эксперимента — 25 . - Идентификатор ресурса Google Analytics : это ваш 9-значный идентификатор ресурса Google Analytics . Вы можете найти его в Google Analytics ; он также отображается в BigQuery , когда вы раскрываете название своего проекта, чтобы отобразить название таблицы событий Google Analytics (
project_name.analytics_000000000.events). - Дата эксперимента: чтобы составить более быстрый и эффективный запрос, рекомендуется ограничить запросы разделами таблицы ежедневных событий Google Analytics , содержащими данные эксперимента — таблицами с суффиксом
YYYYMMDD. Например, если ваш эксперимент проводился с 2 февраля 2024 года по 2 мая 2024 года, необходимо указать_TABLE_SUFFIX between '20240202' AND '20240502'. Пример см. в разделе Выбор значений для конкретного эксперимента . - Названия событий: как правило, они соответствуют целевым показателям , которые вы настроили в эксперименте. Например, события
in_app_purchase,ad_impressionилиuser_retention.
После того, как вы соберете необходимую информацию для формирования запроса:
- Откройте BigQuery в консоли Google Cloud .
- Выберите свой проект, затем нажмите Создать SQL-запрос .
- Добавьте свой запрос. Примеры запросов для выполнения см. в разделе «Изучить примеры запросов» .
- Нажмите кнопку Выполнить .
Запрос данных эксперимента с помощью автоматически сгенерированного запроса консоли Firebase
Если вы используете план Blaze, на странице обзора эксперимента представлен пример запроса, который возвращает название эксперимента, варианты, названия событий и количество событий для просматриваемого вами эксперимента.
Чтобы получить и запустить автоматически сгенерированный запрос:
- В консоли Firebase откройте A/B Testing и выберите эксперимент A/B Testing вы хотите запросить, чтобы открыть обзор эксперимента .
- В меню «Параметры» в разделе «Интеграция BigQuery выберите «Запрос данных эксперимента» . Это откроет ваш проект BigQuery в консоли Google Cloud и предоставит базовый запрос, который можно использовать для запроса данных эксперимента.
В следующем примере показан сгенерированный запрос для эксперимента с тремя вариантами (включая базовый) под названием «Зимний приветственный эксперимент». Он возвращает название активного эксперимента, название варианта, уникальное событие и количество событий для каждого события. Обратите внимание, что конструктор запросов не указывает название вашего проекта в названии таблицы, так как он открывается непосредственно в вашем проекте.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Для дополнительных примеров запросов перейдите в раздел «Изучение примеров запросов» .
Изучите примеры запросов
В следующих разделах приведены примеры запросов, которые можно использовать для извлечения данных эксперимента A/B Testing из таблиц событий Google Analytics .
Извлечь значения стандартного отклонения покупки и эксперимента из всех экспериментов
Вы можете использовать данные результатов эксперимента для независимой проверки результатов Firebase A/B Testing . Следующий SQL-оператор BigQuery извлекает варианты эксперимента, количество уникальных пользователей в каждом варианте и суммирует общий доход от событий in_app_purchase и ecommerce_purchase , а также стандартные отклонения для всех экспериментов в диапазоне времени, указанном в качестве дат начала и окончания _TABLE_SUFFIX . Вы можете использовать данные, полученные в результате этого запроса, с генератором статистической значимости для односторонних t-критериев, чтобы проверить, соответствуют ли результаты Firebase вашему собственному анализу.
Дополнительную информацию о том, как A/B Testing вычисляет вывод, см. в разделе Интерпретация результатов теста .
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Выберите значения конкретного эксперимента
Следующий пример запроса иллюстрирует, как получить данные для конкретного эксперимента в BigQuery . Этот пример запроса возвращает название эксперимента, названия вариантов (включая базовый), названия событий и их количество.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName