Kontaktując się z użytkownikami lub rozpoczynając nową kampanię marketingową, chcesz mieć pewność, że wszystko zrobisz dobrze. Testy A/B mogą pomóc w znalezieniu optymalnego sformułowania i prezentacji poprzez testowanie wariantów wiadomości na wybranych częściach bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie czy konwersja oferty, testy A/B mogą przeprowadzić analizę statystyczną w celu ustalenia, czy wariant wiadomości jest skuteczniejszy od wartości bazowej dla wybranego celu.
Aby przeprowadzić test A/B wariantów funkcji z wartością bazową, wykonaj następujące czynności:
- Stwórz swój eksperyment.
- Zweryfikuj swój eksperyment na urządzeniu testowym.
- Zarządzaj swoim eksperymentem.
Utwórz eksperyment
Eksperyment wykorzystujący komunikację w aplikacji Firebase umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.
Zaloguj się do konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.
Jeżeli podczas tworzenia swojego projektu nie włączyłeś Google Analytics, możesz je włączyć w zakładce Integracje , do której dostęp uzyskasz poprzez > Ustawienia projektu w konsoli Firebase .
W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
Kliknij opcję Utwórz eksperyment , a następnie po wyświetleniu monitu o podanie usługi, z którą chcesz poeksperymentować, wybierz opcję Wiadomości w aplikacji .
Alternatywnie, w menu nawigacyjnym konsoli Firebase rozwiń opcję Angażuj , a następnie kliknij opcję Wiadomości w aplikacji . Następnie kliknij Nowy eksperyment .
Wprowadź nazwę i opcjonalny opis eksperymentu, a następnie kliknij przycisk Dalej .
Wypełnij pola Kierowanie , wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz także skierować reklamy do podzbioru użytkowników, aby wzięli udział w eksperymencie, wybierając opcje obejmujące:
- Wersja: jedna lub więcej wersji Twojej aplikacji
- Odbiorcy użytkowników: odbiorcy Analytics używani do kierowania reklam na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
- Właściwość użytkownika: co najmniej jedna właściwość użytkownika Analytics służąca do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
- Kraj/region: co najmniej jeden kraj lub region, w którym wybierani są użytkownicy, którzy mogą zostać objęci eksperymentem
- Język urządzenia: co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać objęci eksperymentem
- Pierwsze otwarcie: kieruj reklamy do użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację
- Ostatnie zaangażowanie w aplikację: kieruj reklamy do użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją
Ustaw procent docelowych użytkowników: wybierz procent bazy użytkowników aplikacji spełniający kryteria określone w sekcji Docelowi użytkownicy , który chcesz równomiernie podzielić pomiędzy wartość bazową i jeden lub więcej wariantów w eksperymencie. Może to być dowolny procent z zakresu od 0,01% do 100%. Wartości procentowe są losowo przypisywane użytkownikom w przypadku każdego eksperymentu, włączając w to zduplikowane eksperymenty.
W sekcji Warianty skonfiguruj bazową wiadomość w aplikacji, która będzie wysyłana do grupy bazowej przy użyciu interfejsu projektowania wiadomości, którego używasz w zwykłej kampanii z wiadomością w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant . Domyślnie eksperymenty mają jedną wartość bazową i jeden wariant.
(opcjonalnie) Wpisz bardziej opisową nazwę dla każdego wariantu.
(opcjonalnie) W górnej części sekcji Warianty kliknij przycisk Porównaj warianty , aby porównać jeszcze jeden wariant wiadomości obok wiadomości podstawowej.
Zdefiniuj metrykę celu eksperymentu, która będzie używana podczas oceny wariantów eksperymentu, wraz z dodatkowymi metrykami, których chcesz użyć z listy. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzenia konwersji Analytics i inne zdarzenia Analytics.
Skonfiguruj harmonogram eksperymentu:
- Ustaw datę rozpoczęcia i zakończenia eksperymentu.
- Ustaw sposób wyświetlania komunikatów w aplikacji we wszystkich wariantach.
Kliknij opcję Recenzja , aby zapisać eksperyment.
Możesz przeprowadzić maksymalnie 300 eksperymentów na projekt, który może składać się z maksymalnie 24 bieżących eksperymentów, a reszta jest w wersji roboczej lub ukończona.
Zweryfikuj swój eksperyment na urządzeniu testowym
Dla każdej instalacji Firebase możesz pobrać powiązany z nią token autoryzacji instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym, wykonaj następujące czynności:
- Uzyskaj token autoryzacji instalacji w następujący sposób:
Szybki
Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in if let error = error { print("Error fetching token: \(error)") return } guard let result = result else { return } print("Installation auth token: \(result.authToken)") })Cel C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } } - Na pasku nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
- Kliknij opcję Wersja robocza (i/lub Eksperymenty w ramach zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe ( more_vert ), a następnie kliknij opcję Zarządzaj urządzeniami testowymi .
- Wprowadź token autoryzacji instalacji dla urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
- Uruchom aplikację i potwierdź, że wybrany wariant zostanie odebrany na urządzeniu testowym.
Aby dowiedzieć się więcej o instalacjach Firebase, zobacz Zarządzanie instalacjami Firebase .
Zarządzaj swoim eksperymentem
Niezależnie od tego, czy tworzysz eksperyment za pomocą funkcji Remote Config, narzędzia do tworzenia powiadomień czy funkcji przesyłania wiadomości w aplikacji Firebase, możesz następnie sprawdzić i rozpocząć eksperyment, monitorować go w trakcie jego trwania oraz zwiększyć liczbę użytkowników objętych trwającym eksperymentem.
Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie udostępnić je wszystkim użytkownikom. Możesz też przeprowadzić inny eksperyment.
Rozpocznij eksperyment
- W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
- Kliknij opcję Wersja robocza , a następnie kliknij tytuł eksperymentu.
- Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaliby objęci eksperymentem, rozwiń szczegóły wersji roboczej i sprawdź, czy w sekcji Kierowanie i dystrybucja znajduje się liczba większa niż 0% (na przykład 1% użytkowników spełniających kryteria ).
- Aby zmienić eksperyment, kliknij Edytuj .
- Aby rozpocząć eksperyment, kliknij opcję Rozpocznij eksperyment . W jednym projekcie można przeprowadzić maksymalnie 24 eksperymenty.
Monitoruj eksperyment
Po pewnym czasie trwania eksperymentu możesz sprawdzić jego postęp i zobaczyć, jak wyglądają wyniki dla użytkowników, którzy do tej pory wzięli udział w eksperymencie.
- W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
Kliknij opcję Uruchomione , a następnie kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz przeglądać różne obserwowane i modelowane statystyki dotyczące trwającego eksperymentu, w tym następujące:
- % różnicy w stosunku do wartości bazowej : Miara poprawy metryki dla danego wariantu w porównaniu z wartością bazową. Obliczane poprzez porównanie zakresu wartości wariantu z zakresem wartości linii bazowej.
- Prawdopodobieństwo przekroczenia wartości bazowej : szacowane prawdopodobieństwo, że dany wariant przekroczy wartość bazową w przypadku wybranej metryki.
- observed_metric na użytkownika : na podstawie wyników eksperymentu jest to przewidywany zakres, w jakim wartość metryki będzie się mieścić w miarę upływu czasu.
- Całkowita observed_metric : zaobserwowana skumulowana wartość linii bazowej lub wariantu. Wartość służy do pomiaru skuteczności każdego wariantu eksperymentu oraz do obliczania poprawy , zakresu wartości , prawdopodobieństwa przekroczenia wartości bazowej i prawdopodobieństwa bycia najlepszym wariantem . W zależności od mierzonych danych kolumna ta może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.
Po pewnym czasie trwania eksperymentu (co najmniej 7 dni w przypadku FCM i przesyłania wiadomości w aplikacji lub 14 dni w przypadku zdalnej konfiguracji) dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy przedstawiający dane w formie wizualnej.
Przeprowadź eksperyment dla wszystkich użytkowników
Gdy eksperyment będzie trwał na tyle długo, że uzyskasz „lidera” lub zwycięski wariant wskaźnika celu, możesz udostępnić eksperyment 100% użytkowników. Dzięki temu możesz wybrać wariant do opublikowania dla wszystkich użytkowników w przyszłości. Nawet jeśli Twój eksperyment nie wyłonił wyraźnego zwycięzcy, nadal możesz udostępnić wariant wszystkim użytkownikom.
- W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
- Kliknij opcję Zakończono lub Trwa , kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe ( ) Wdróż wariant .
Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z następujących czynności:
- W przypadku eksperymentu wykorzystującego narzędzie do tworzenia powiadomień użyj okna dialogowego Udostępnij wiadomość , aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
- W przypadku eksperymentu Zdalnej konfiguracji wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby mieć pewność, że wdrożenie wpłynie tylko na użytkowników, na których jest ukierunkowany eksperyment. Po kliknięciu opcji Przejrzyj w aplikacji Remote Config w celu przejrzenia zmian kliknij opcję Opublikuj zmiany , aby zakończyć wdrażanie.
- W przypadku eksperymentu z komunikatami w aplikacji użyj okna dialogowego, aby określić, który wariant należy wdrożyć jako samodzielną kampanię z komunikatem w aplikacji. Po wybraniu nastąpi przekierowanie do ekranu tworzenia FIAM, aby wprowadzić zmiany (jeśli są wymagane) przed publikacją.
Rozwiń eksperyment
Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby testy A/B pozwoliły na wybranie lidera, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.
- W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
- Wybierz działający eksperyment, który chcesz edytować.
- W przeglądzie eksperymentu kliknij menu kontekstowe ( ), a następnie kliknij opcję Edytuj trwający eksperyment .
- W oknie dialogowym Kierowanie wyświetlana jest opcja zwiększenia odsetka użytkowników biorących udział w trwającym eksperymencie. Wybierz liczbę większą niż bieżący procent i kliknij Opublikuj . Eksperyment zostanie przeniesiony do określonego odsetka użytkowników.
Duplikuj lub przerwij eksperyment
- W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testowanie A/B .
- Kliknij opcję Zakończono lub Trwa , przytrzymaj wskaźnik nad eksperymentem, kliknij menu kontekstowe ( ), a następnie kliknij opcję Powiel eksperyment lub Zatrzymaj eksperyment .
Targetowanie użytkowników
Możesz kierować reklamy na użytkowników, których chcesz uwzględnić w eksperymencie, korzystając z następujących kryteriów kierowania na użytkowników.
| Kryterium targetowania | Operator(zy) | Wartości | Notatka |
|---|---|---|---|
| Wersja | zawiera, nie zawiera, pasuje dokładnie, zawiera wyrażenie regularne | Wpisz wartość dla jednej lub większej liczby wersji aplikacji, które chcesz uwzględnić w eksperymencie. | Jeśli używasz dowolnego operatora zawiera , nie zawiera lub pasuje dokładnie , możesz podać listę wartości oddzielonych przecinkami. Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego. |
| Odbiorcy użytkowników | obejmuje wszystkie, obejmuje co najmniej jeden z, nie obejmuje wszystkich, nie obejmuje co najmniej jednego z | Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | Gromadzenie danych w przypadku niektórych eksperymentów skierowanych do odbiorców Google Analytics może zająć kilka dni, ponieważ podlegają opóźnieniom w przetwarzaniu danych Analytics. Opóźnienie to najczęściej występuje w przypadku nowych użytkowników, którzy zazwyczaj są dodawani do kwalifikujących się grup odbiorców po 24–48 godzinach od utworzenia, lub w przypadku niedawno utworzonych grup odbiorców . |
| Własność użytkownika | Dla tekstu: zawiera, nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne Dla liczb: <, ≤, =, ≥, > | Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać objęci eksperymentem, i oferuje szereg opcji wyboru wartości właściwości użytkownika. Na kliencie można ustawić tylko wartości ciągów dla właściwości użytkownika. W przypadku warunków korzystających z operatorów numerycznych usługa zdalnej konfiguracji konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową. | Korzystając z operatora wyrażenia regularnego zawiera , można tworzyć wyrażenia regularne w formacie RE2 . Twoje wyrażenie regularne może pasować do całości lub części ciągu znaków wersji docelowej. Możesz także użyć kotwic ^ i $ , aby dopasować początek, koniec lub całość ciągu docelowego. |
| Kraj/region | Nie dotyczy | Co najmniej jeden kraj lub region użyty do wybrania użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Języki | Nie dotyczy | Co najmniej jeden język i ustawienia regionalne używane do wybierania użytkowników, którzy mogą zostać objęci eksperymentem. | |
| Najpierw otwarte | Więcej niż Mniej niż Między | Kieruj reklamy na użytkowników na podstawie pierwszego otwarcia aplikacji, podanego w dniach. | |
| Ostatnie zaangażowanie w aplikację | Więcej niż Mniej niż Między | Kieruj reklamy na użytkowników na podstawie ich ostatniego kontaktu z Twoją aplikacją, podanego w dniach. |
Metryki testów A/B
Tworząc eksperyment, wybierasz metrykę podstawową, czyli cel , która służy do określenia zwycięskiego wariantu. Warto także śledzić inne dane, które pomogą Ci lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić w przypadku każdego wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie pięć wskaźników innych niż cele.
Załóżmy na przykład, że dodałeś do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność dwóch różnych wiadomości „szturchających”. W takim przypadku możesz zdecydować się na ustawienie przychodów z zakupów jako wskaźnika celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które spowodowało najwyższy przychód z zakupów w aplikacji. A ponieważ chcesz także śledzić, który wariant zapewnił więcej przyszłych konwersji i utrzymał użytkowników, możesz dodać następujące elementy w sekcji Inne dane do śledzenia :- Szacunkowe całkowite przychody , aby sprawdzić, jak różnią się łączne przychody z zakupów w aplikacji i reklam w obu wariantach
- Retencja (1 dzień) , Retencja (2-3 dni) , Retencja (4-7 dni) do śledzenia dziennego/tygodniowego utrzymania użytkownika
Poniższe tabele zawierają szczegółowe informacje na temat sposobu obliczania wskaźników celów i innych wskaźników.
Metryki celu
| Metryczny | Opis |
|---|---|
| Użytkownicy bez awarii | Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji, wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu. |
| Szacowane przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacunkowe całkowite przychody | Łączna wartość zakupu i szacunkowe przychody z reklam. |
| Przychody z zakupu | Łączna wartość wszystkich zdarzeń purchase i in_app_purchase . |
| Retencja (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Retencja (2-3 dni) | Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 2-3 dni. |
| Retencja (4-7 dni) | Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 4-7 dni. |
| Retencja (8-14 dni) | Liczba użytkowników, którzy powrócą do Twojej aplikacji w ciągu 8-14 dni. |
| Przechowywanie (ponad 15 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji 15 lub więcej dni od ostatniego użycia. |
| pierwsze_otwarte | Zdarzenie Analytics uruchamiane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany jako część ścieżki konwersji. |
Inne metryki
| Metryczny | Opis |
|---|---|
| powiadomienie_odrzucenie | Zdarzenie Analytics wyzwalane w przypadku odrzucenia powiadomienia wysłanego przez narzędzie do tworzenia powiadomień (tylko na Androidzie). |
| powiadomienie_odbiór | Zdarzenie Analytics uruchamiane po odebraniu powiadomienia wysłanego przez narzędzie do tworzenia powiadomień, gdy aplikacja działa w tle (tylko na Androidzie). |
| aktualizacja_os | Zdarzenie Analytics śledzące aktualizację systemu operacyjnego urządzenia do nowej wersji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie . |
| widok_ekranu | Zdarzenie Analytics śledzące ekrany wyświetlane w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Śledzenie wyświetleń ekranu . |
| początek_sesji | Zdarzenie Analytics, które zlicza sesje użytkowników w Twojej aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia zbierane automatycznie . |