Aby pomóc Ci zmaksymalizować trafność i przydatność wyników testu, na tej stronie znajdziesz szczegółowe informacje o tym, jak działa Firebase A/B Testing.
Rozmiar próbki
Firebase A/B Testing wnioskowanie nie wymaga określenia minimalnej wielkości próbki przed rozpoczęciem eksperymentu. Zwykle warto wybrać największy poziom ekspozycji eksperymentu, który Ci odpowiada. Większe rozmiary próbek zwiększają szanse na uzyskanie istotnego statystycznie wyniku, zwłaszcza gdy różnice w skuteczności między wariantami są niewielkie. Możesz też skorzystać z kalkulatora wielkości próby online, aby znaleźć zalecaną wielkość próby na podstawie charakterystyki eksperymentu.
Edytowanie eksperymentów
Możesz edytować wybrane parametry trwających eksperymentów, w tym:
- Nazwa eksperymentu
- Opis
- Warunki kierowania
- Wartości wariantów
Aby edytować eksperyment:
- Otwórz stronę wyników eksperymentu, który chcesz zmodyfikować.
- W menu Więcej wybierz Edytuj trwający eksperyment.
- Wprowadź zmiany i kliknij Opublikuj.
Pamiętaj, że zmiana działania aplikacji podczas trwającego eksperymentu może wpłynąć na wyniki.
Logika przypisywania wariantów Zdalnej konfiguracji
Użytkownicy, którzy spełniają wszystkie warunki kierowania eksperymentu (w tym warunek procentowego wyświetlania), są przypisywani do wariantów eksperymentu zgodnie z wagami wariantów oraz haszem identyfikatora eksperymentu i Firebase identyfikatora instalacjiFirebase użytkownika.
Google AnalyticsListy odbiorców podlegają opóźnieniom i nie są dostępne od razu, gdy użytkownik po raz pierwszy spełni kryteria listy odbiorców:
- Gdy utworzysz nową listę odbiorców, zebranie przez nią nowych użytkowników może potrwać 24–48 godzin.
- Nowi użytkownicy są zwykle dodawani do kwalifikujących się list odbiorców w ciągu 24–48 godzin od spełnienia kryteriów.
W przypadku kierowania opartego na czasie rozważ użycie Google Analyticswłaściwości użytkownika lub wbudowanych opcji kierowania, takich jak kraj lub region, język i wersja aplikacji.
Gdy użytkownik weźmie udział w eksperymencie, zostanie na stałe przypisany do jego wariantu i będzie otrzymywać wartości parametrów z eksperymentu tak długo, jak długo eksperyment pozostanie aktywny, nawet jeśli zmienią się jego właściwości i nie będzie już spełniać kryteriów kierowania eksperymentu.
zdarzenia aktywacji
Zdarzenia aktywujące eksperyment ograniczają pomiary eksperymentu do użytkowników aplikacji, u których wystąpiło zdarzenie aktywujące. Zdarzenie aktywujące eksperyment nie ma wpływu na parametry eksperymentu pobierane przez aplikację. Wszyscy użytkownicy, którzy spełniają kryteria kierowania eksperymentu, otrzymają parametry eksperymentu. Dlatego ważne jest, aby wybrać zdarzenie aktywacji, które występuje po pobraniu i aktywacji parametrów eksperymentu, ale przed użyciem tych parametrów do zmodyfikowania działania aplikacji.
Wagi wariantów
Podczas tworzenia eksperymentu można zmienić domyślne wagi wariantów, aby większy odsetek użytkowników eksperymentu był przypisany do danego wariantu.
Interpretowanie wyników testu
Firebase A/B Testing korzysta z wnioskowania częstościowego, aby pomóc Ci zrozumieć prawdopodobieństwo, że wyniki eksperymentu mogły wystąpić wyłącznie z powodu przypadkowego zbiegu okoliczności. To prawdopodobieństwo jest reprezentowane przez wartość prawdopodobieństwa lub wartość p. Wartość p to prawdopodobieństwo, że różnica w skuteczności między dwoma wariantami o takiej lub większej wartości mogła wystąpić przypadkowo, jeśli w rzeczywistości nie ma żadnego efektu. Jest ona mierzona wartością z zakresu od 0 do 1. A/B Testing używa poziomu istotności 0,05, więc:
- Wartość p mniejsza niż 0,05 oznacza, że jeśli prawdziwa różnica wynosiłaby zero, istnieje mniej niż 5-procentowe prawdopodobieństwo, że tak skrajna zaobserwowana różnica mogłaby wystąpić losowo. Wartość 0,05 to próg, więc każda wartość p mniejsza niż 0,05 wskazuje na istotną statystycznie różnicę między wariantami.
- Wartość p większa niż 0,05 oznacza, że różnica między wariantami nie jest istotna statystycznie.
Dane eksperymentu są odświeżane raz dziennie, a godzina ostatniej aktualizacji jest widoczna u góry strony z wynikami eksperymentu.
Wykres wyników eksperymentu wyświetla skumulowane wartości średnie wybranej grupy danych. Jeśli na przykład śledzisz przychody z reklam na użytkownika jako rodzaj danych, wyświetlane są obserwowane przychody na użytkownika. Jeśli śledzisz użytkowników, którzy nie napotkali awarii, wyświetlany jest odsetek użytkowników, którzy nie napotkali awarii. Te dane są skumulowane od początku eksperymentu.
Wyniki są podzielone na dane obserwacyjne i dane wywnioskowane. Dane obserwowane są obliczane bezpośrednio na podstawie danych Google Analytics, a dane wnioskowania zawierają wartości p i przedziały ufności, które pomagają ocenić istotność statystyczną danych obserwowanych.
W przypadku każdego rodzaju danych wyświetlane są te statystyki:
Dane rzeczywiste
- Łączna wartość śledzonych danych (liczba utrzymanych użytkowników, liczba użytkowników, u których wystąpił błąd, łączne przychody)
- Współczynnik dotyczący konkretnych danych (współczynnik utrzymania, współczynnik konwersji, przychody na użytkownika)
- Różnica procentowa (wzrost) między wariantem a wersją podstawową
Dane wnioskowania
95% CI (Difference in means) wyświetla przedział, który zawiera „prawdziwą” wartość śledzonych danych z 95-procentowym poziomem ufności. Jeśli na przykład wyniki eksperymentu wskazują, że 95% przedział ufności dla szacunkowych łącznych przychodów mieści się w zakresie od 5 do 10 zł, istnieje 95% prawdopodobieństwa, że prawdziwa różnica między średnimi mieści się w tym zakresie. Jeśli przedział ufności obejmuje 0, nie wykryto istotnej statystycznie różnicy między wariantem a elementem bazowym.
Wartości przedziału ufności są wyświetlane w formacie zgodnym ze śledzonym rodzajem danych. Na przykład czas (w
HH:MM:SS) w przypadku utrzymania użytkowników, USD w przypadku przychodów z reklam na użytkownika i procent w przypadku współczynnika konwersji.Wartość p, która reprezentuje prawdopodobieństwo uzyskania danych tak skrajnych jak wyniki eksperymentu, przy założeniu, że nie ma prawdziwej różnicy między wariantem a elementem bazowym. Im niższa wartość p, tym większa pewność, że zaobserwowana skuteczność pozostanie prawdziwa, jeśli powtórzymy eksperyment. Wartość 0,05 lub niższa wskazuje na istotną różnicę i małe prawdopodobieństwo, że wyniki są przypadkowe. Wartości p są oparte na teście jednostronnym, w którym wartość wariantu jest większa niż wartość punktu odniesienia. W przypadku zmiennych ciągłych (wartości liczbowych, np. przychodów) Firebase używa testu t o nierównych wariancjach, a w przypadku danych o konwersjach (wartości binarnych, np. utrzymania użytkowników, użytkowników, których nie dotknęła awaria, użytkowników, którzy wywołują Google Analytics zdarzenie) – testu z proporcji.
Wyniki eksperymentu dostarczają ważnych informacji o każdym wariancie eksperymentu, w tym:
- O ile wyższa lub niższa jest wartość każdego rodzaju danych w eksperymencie w porównaniu z wartością bazową, zmierzona bezpośrednio (czyli rzeczywiste zaobserwowane dane).
- Prawdopodobieństwo, że zaobserwowana różnica między wariantem a elementem bazowym mogła wystąpić przypadkowo (wartość p).
- Zakres, który prawdopodobnie zawiera „prawdziwą” różnicę w skuteczności między wariantem a elementem bazowym w przypadku każdego rodzaju danych eksperymentu – sposób na zrozumienie scenariuszy „najlepszej” i „najgorszej” skuteczności.
Interpretowanie wyników eksperymentów przeprowadzonych za pomocą Google Optimize
Firebase A/B Testing wyniki eksperymentów rozpoczętych przed 23 października 2023 r. były generowane przez Google Optimize. Google Optimize używało wnioskowania bayesowskiego do generowania przydatnych statystyk na podstawie danych z eksperymentu.
Wyniki są podzielone na „dane rzeczywiste” i „dane modelowane”. Dane rzeczywiste zostały obliczone bezpośrednio na podstawie danych Analytics, a dane modelowane zostały uzyskane z zastosowaniem naszego bayesowskiego modelu analizy danych rzeczywistych.
W przypadku każdego rodzaju danych wyświetlane są te statystyki:
Rzeczywiste dane
- Łączna wartość (suma danych dla wszystkich użytkowników w wariancie)
- Średnia wartość (średnia wartość danych dla użytkowników w wariancie)
- % różnicy wobec punktu odniesienia
Dane pochodzące z modelu
- Prawdopodobieństwo przekroczenia wartości podstawowej: jak prawdopodobne jest, że wskaźnik będzie wyższy w przypadku tego wariantu w porównaniu z wartością podstawową.
- Procentowa różnica w stosunku do wartości bazowej: na podstawie mediany szacunkowych wartości danych w modelu dla wariantu i wartości bazowej.
- Zakresy danych: zakresy, w których z 50% i 95% pewnością można znaleźć wartość danych.
Ogólnie wyniki eksperymentu dostarczają nam 3 ważnych informacji o każdej wersji eksperymentu:
- O ile wyższa lub niższa jest wartość każdego rodzaju danych w eksperymencie w porównaniu z wartością bazową, zgodnie z bezpośrednimi pomiarami (czyli rzeczywistymi zaobserwowanymi danymi).
- Jak prawdopodobne jest, że każdy wskaźnik eksperymentu jest wyższy niż wartość odniesienia lub najlepsza wartość ogólna na podstawie wnioskowania bayesowskiego (prawdopodobieństwo, że jest lepszy lub najlepszy).
- Prawdopodobne zakresy dla każdego wskaźnika eksperymentu na podstawie wnioskowania bayesowskiego – scenariusze „najlepszy” i „najgorszy” (przedziały wiarygodności).
Określanie repliki wiodącej
W przypadku eksperymentów korzystających z wnioskowania częstościowego Firebase wskazuje wariant jako najlepszy, gdy występuje statystycznie istotna różnica skuteczności między wariantem a elementem bazowym w zakresie danych związanych z realizacją celu. Jeśli wiele wariantów spełnia to kryterium, wybrany zostanie wariant z najniższą wartością P.
W przypadku eksperymentów, w których użyto Google Optimize, Firebase wskazywał wariant jako „wyraźnie lepszy”, jeśli prawdopodobieństwo, że jest on lepszy od wariantu bazowego w zakresie danych podstawowych, wynosiło ponad 95%. Jeśli kilka wersji spełniało kryteria „wyraźnego lidera”, tylko wersja o najlepszych ogólnych wynikach była oznaczana jako „wyraźny lider”.
Najlepszy wariant jest wskazywany wyłącznie na podstawie celu głównego, dlatego przed podjęciem decyzji o jego wdrożeniu warto rozważyć wszystkie istotne czynniki i zweryfikować wyniki danych pomocniczych. Warto wziąć pod uwagę oczekiwane korzyści ze zmiany, ryzyko związane z jej wprowadzeniem (np. dolną granicę przedziału ufności dla poprawy) oraz wpływ na dane inne niż cel główny.
Jeśli np. głównym rodzajem danych są użytkownicy, u których nie wystąpiła awaria, a wariant A wyraźnie wyprzedza wartość bazową, ale dane dotyczące utrzymania użytkowników w przypadku wariantu A są gorsze niż w przypadku wartości bazowej, warto przeprowadzić dalsze badania, zanim wdrożysz wariant A na większą skalę.
Możesz wdrożyć dowolny wariant, nie tylko najlepszy, na podstawie ogólnej oceny skuteczności na podstawie danych głównych i pomocniczych.
Czas trwania eksperymentu
Firebase zaleca, aby eksperyment był prowadzony do momentu spełnienia tych warunków:
- Eksperyment zgromadził wystarczającą ilość danych, aby można było uzyskać przydatny wynik. Eksperymenty i dane o wynikach są aktualizowane raz dziennie. Aby oszacować zalecany rozmiar próby w eksperymencie, możesz skorzystać z kalkulatora rozmiaru próby online.
- Eksperyment był prowadzony wystarczająco długo, aby uzyskać reprezentatywną próbkę użytkowników i zmierzyć skuteczność w dłuższej perspektywie. W przypadku typowego eksperymentu związanego ze Zdalną konfiguracją zalecany minimalny czas trwania to 2 tygodnie.
Dane eksperymentu są przetwarzane maksymalnie przez 90 dni od jego rozpoczęcia. Po 90 dniach eksperyment zostanie automatycznie zatrzymany. Wyniki eksperymentu nie są już aktualizowane w konsoli Firebase, a eksperyment przestaje wysyłać wartości parametrów specyficzne dla eksperymentu. W tym momencie klienci zaczynają pobierać wartości parametrów na podstawie warunków ustawionych w Remote Configszablonie. Dane historyczne eksperymentu są przechowywane do momentu usunięcia eksperymentu.
Schemat BigQuery
Oprócz wyświetlania danych eksperymentu w konsoli A/B TestingFirebase możesz sprawdzać i analizować dane eksperymentu w BigQuery. A/B Testing nie ma osobnej tabeli, ale informacje o eksperymentach i wariantach są przechowywane w każdym zdarzeniu w tabelach zdarzeń Analytics.BigQueryGoogle Analytics
Właściwości użytkownika, które zawierają informacje o eksperymencie, mają postać userProperty.key like "firebase_exp_%" lub userProperty.key =
"firebase_exp_01", gdzie 01 to identyfikator eksperymentu, a userProperty.value.string_value zawiera indeks (liczony od zera) wariantu eksperymentu.
Za pomocą tych właściwości użytkownika eksperymentu możesz wyodrębniać dane eksperymentu. Dzięki temu możesz analizować wyniki eksperymentu na wiele różnych sposobów i niezależnie weryfikować wyniki A/B Testing.
Aby rozpocząć, wykonaj te czynności opisane w tym przewodniku:
- Włącz BigQuery eksportowanie Google Analytics w konsoli Firebase
- Dostęp do danych A/B Testing za pomocą BigQuery
- Przykładowe zapytania
Włączanie eksportowania BigQuery dla Google Analytics w konsoli Firebase
Jeśli korzystasz z abonamentu Spark, możesz używać BigQuerypiaskownicy, aby uzyskać dostęp do BigQuery bez żadnych opłat, z zastrzeżeniem limitów piaskownicy. Więcej informacji znajdziesz w sekcji Ceny i BigQuery sandbox.
Najpierw upewnij się, że eksportujesz dane Analytics do BigQuery:
- Otwórz kartę Integracje, do której możesz przejść, klikając > Ustawienia projektu w Firebase konsoli.
- Jeśli korzystasz już z BigQuery w innych usługach Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
- Zapoznaj się z sekcją Informacje o łączeniu Firebase z BigQuery, a potem kliknij Dalej.
- W sekcji Skonfiguruj integrację włącz przełącznik Google Analytics.
Wybierz region i ustawienia eksportu.
Kliknij Połącz z BigQuery.
W zależności od wybranego sposobu eksportowania danych udostępnienie tabel może potrwać do 1 dnia. Więcej informacji o eksportowaniu danych projektu do BigQuery znajdziesz w artykule Eksportowanie danych projektu do BigQuery.
Dostęp do danych A/B Testing w BigQuery
Zanim wyślesz zapytanie o dane dotyczące konkretnego eksperymentu, musisz uzyskać niektóre lub wszystkie z tych informacji, aby użyć ich w zapytaniu:
- Identyfikator eksperymentu: możesz go uzyskać z adresu URL strony Przegląd eksperymentu. Jeśli na przykład Twój adres URL wygląda tak:
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25. - Google Analytics identyfikator usługi: to 9-cyfrowy identyfikator usługi.Google Analytics Znajdziesz go w sekcji Google Analytics. Pojawia się też w sekcji BigQuery, gdy rozwiniesz nazwę projektu, aby wyświetlić nazwę tabeli zdarzeń Google Analytics (
project_name.analytics_000000000.events). - Data eksperymentu: aby utworzyć szybsze i wydajniejsze zapytanie, warto ograniczyć zapytania do Google Analytics codziennych
partycji tabeli zdarzeń, które zawierają dane eksperymentu – tabel oznaczonych sufiksem
YYYYMMDD. Jeśli więc eksperyment był prowadzony od 2 lutego do 2 maja 2024 r., musisz podać_TABLE_SUFFIX between '20240202' AND '20240502'. Przykład znajdziesz w artykule Wybieranie wartości konkretnego eksperymentu. - Nazwy zdarzeń: zwykle odpowiadają one wartościom docelowym skonfigurowanym w eksperymencie. Na przykład
in_app_purchasewydarzeniaad_impressionlubuser_retentionwydarzenia.
Po zebraniu informacji potrzebnych do wygenerowania zapytania:
- Otwórz BigQuery w konsoli Google Cloud.
- Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
- Dodaj zapytanie. Przykładowe zapytania znajdziesz w artykule Przykładowe zapytania.
- Kliknij Wykonaj.
Tworzenie zapytań o dane eksperymentu za pomocą automatycznie generowanego zapytania w konsoli Firebase
Jeśli korzystasz z abonamentu Blaze, na stronie Przegląd eksperymentu znajdziesz przykładowe zapytanie, które zwraca nazwę eksperymentu, wersje, nazwy zdarzeń i liczbę zdarzeń w eksperymencie, który wyświetlasz.
Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:
- W Firebase konsoli otwórz A/B Testing i wybierz eksperyment A/B Testing, o który chcesz wysłać zapytanie, aby otworzyć Przegląd eksperymentu.
- W menu Opcje w sekcji Integracja z BigQuery wybierz Zapytanie o dane eksperymentu. Spowoduje to otwarcie projektu w BigQueryw konsoli Google Cloud i udostępnienie podstawowego zapytania, którego możesz użyć do wysyłania zapytań o dane eksperymentu.
Poniższy przykład pokazuje wygenerowane zapytanie dotyczące eksperymentu z 3 wariantami (w tym z elementem bazowym) o nazwie „Eksperyment powitalny na zimę”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, unikalne zdarzenie i liczbę zdarzeń dla każdego zdarzenia. Pamiętaj, że w nazwie tabeli w konstruktorze zapytań nie jest podana nazwa projektu, ponieważ konstruktor otwiera się bezpośrednio w projekcie.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Więcej przykładów zapytań znajdziesz w artykule Przykładowe zapytania.
Przykładowe zapytania
W sekcjach poniżej znajdziesz przykłady zapytań, których możesz używać do wyodrębniania danych eksperymentu z tabel zdarzeń A/B TestingGoogle Analytics.
Wyodrębnianie wartości odchylenia standardowego zakupu i eksperymentu ze wszystkich eksperymentów
Dane z wynikami eksperymentu możesz wykorzystać do niezależnego sprawdzenia Firebase A/B Testingwyników. Poniższe BigQueryinstrukcje SQLBigQuerywyodrębniają warianty eksperymentu, liczbę unikalnych użytkowników w każdym wariancie i sumują łączne przychodyBigQueryze zdarzeń in_app_purchase i ecommerce_purchase oraz odchylenia standardoweBigQuerywszystkich eksperymentów w zakresie czasu określonym jako daty rozpoczęcia i zakończenia _TABLE_SUFFIX. Dane uzyskane z tego zapytania możesz wykorzystać w generatorze istotności statystycznej dla testów t-Studenta jednostronnych, aby sprawdzić, czy wyniki podawane przez Firebase są zgodne z Twoją analizą.
Więcej informacji o sposobie obliczania wnioskowania przez A/B Testing znajdziesz w sekcji Interpretowanie wyników testów.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Wybieranie wartości konkretnego eksperymentu
Poniższy przykład zapytania pokazuje, jak uzyskać dane dotyczące konkretnego eksperymentu w BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wersji (w tym wersji podstawowej), nazwy zdarzeń i liczbę zdarzeń.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName
Limity
A/B Testing jest ograniczona do 300 eksperymentów, 24 eksperymentów w toku i 24 wersji roboczych eksperymentów. Te limity są wspólne dla Remote Config. Jeśli na przykład masz 2 wdrożenia i 3 eksperymenty, możesz przeprowadzić jeszcze 19 wdrożeń lub eksperymentów.
Jeśli osiągniesz limit 300 eksperymentów lub 24 eksperymentów w wersji roboczej, musisz usunąć istniejący eksperyment, zanim utworzysz nowy.
Jeśli osiągniesz limit 24 uruchomionych eksperymentów i wdrożeń, musisz zatrzymać uruchomiony eksperyment lub wdrożenie, zanim rozpoczniesz nowe.
Eksperyment może mieć maksymalnie 8 wariantów (w tym element bazowy) i do 25 parametrów w przypadku każdego wariantu. Eksperyment może mieć rozmiar do około 200 KiB. Obejmuje to nazwy wariantów, parametry wariantów i inne metadane konfiguracji.