Twórz eksperymenty z wiadomościami w aplikacji za pomocą testów A/B

Gdy kontaktujesz się z użytkownikami lub rozpoczynasz nową kampanię marketingową, warto zadbać o to, by wszystko działało jak należy. Testy A/B mogą pomóc Ci znaleźć optymalne sformułowania i swoją prezentację, testując warianty wiadomości w wybranych częściach grupy użytkowników. Niezależnie od tego, czy Twoim celem jest lepszy wskaźnik utrzymania użytkowników czy konwersja z oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby określić, czy wariant wiadomości osiąga lepsze wyniki niż wartość bazowa wybranego celu.

Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:

  1. Utwórz eksperyment.
  2. Zweryfikuj eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment, który korzysta z funkcji wysyłania wiadomości w aplikacji Firebase, pozwala ocenić wiele wariantów jednej wiadomości w aplikacji.

  1. Zaloguj się w konsoli Firebase i sprawdź, czy w projekcie jest włączona usługa Google Analytics, dzięki czemu eksperyment ma dostęp do danych Analytics.

    Jeśli podczas tworzenia projektu nie włączysz Google Analytics, możesz włączyć tę usługę na karcie Integracje. Aby ją otworzyć, kliknij > Ustawienia projektu w konsoli Firebase.

  2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.

  3. Kliknij Utwórz eksperyment, a gdy pojawi się prośba o wybranie usługi, z którą chcesz przeprowadzić eksperyment, wybierz Wysyłanie wiadomości w aplikacji.

  4. Możesz też w menu nawigacyjnym konsoli Firebase rozwinąć Zaangażowanie i kliknąć Przesyłanie wiadomości w aplikacji. Następnie kliknij Nowy eksperyment.

  5. Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.

  6. Wypełnij pola Kierowanie, wybierając najpierw aplikację, która ma korzystać z eksperymentu. Eksperyment możesz też kierować na podzbiór użytkowników, wybierając opcje zawierające m.in.:

    • Wersja: co najmniej 1 wersja aplikacji.
    • Odbiorcy użytkowników: listy odbiorców Analytics służące do kierowania reklam na użytkowników, którzy mogą być objęci eksperymentem.
    • Właściwość użytkownika: co najmniej 1 właściwość użytkownika w Analytics służąca do wyboru użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
    • Kraj/region: co najmniej jeden kraj lub region do wyboru użytkowników, którzy mogą zostać objęci eksperymentem.
    • Język urządzenia: co najmniej jeden język i region używany do wyboru użytkowników, którzy mogą zostać objęci eksperymentem.
    • Pierwsze uruchomienie: kierowanie na użytkowników według tego, kiedy po raz pierwszy otworzyli Twoją aplikację.
    • Ostatnie zaangażowanie w aplikację: kierowanie na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją

  7. Ustaw Odsetek użytkowników docelowych: wybierz odsetek użytkowników aplikacji spełniających kryteria określone w sekcji Kieruj reklamy na użytkowników, których chcesz równomiernie podzielić między wariant podstawowy a co najmniej 1 wariant w eksperymencie. Może to być dowolna wartość procentowa między 0,01% a 100%. Wartości procentowe są losowo przypisywane użytkownikom w przypadku każdego eksperymentu, w tym w przypadku eksperymentów powielonych.

  8. W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji, która ma być wysyłana do grupy podstawowej, korzystając z interfejsu projektowania wiadomości, którego używasz w normalnej kampanii z wiadomościami w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 wariant i 1 element bazowy.

  10. (Opcjonalnie) Podaj bardziej opisową nazwę dla każdej odmiany.

  11. (Opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty, aby porównać jeszcze 1 wariant wiadomości z wiadomością bazową.

  12. Określ dane celu eksperymentu, które będą używane do oceny wariantów eksperymentu wraz z dodatkowymi danymi, których chcesz użyć z listy. Te dane obejmują cele wbudowane (zaangażowanie, zakupy, przychody, utrzymanie itp.), zdarzeń konwersji Analytics i innych zdarzeń Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Wyznacz datę rozpoczęcia i zakończenia eksperymentu.
    • Określ sposób wywoływania wiadomości w aplikacji we wszystkich wariantach.

  14. Kliknij Sprawdź, aby zapisać eksperyment.

Możesz utworzyć maksymalnie 300 eksperymentów na projekt, co może się składać z maksymalnie 24 uruchomionych eksperymentów – pozostałe jako wersje robocze lub zakończone.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Za pomocą tego tokena możesz testować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym:

  1. Pobierz token uwierzytelniania instalacji w ten sposób:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
  3. Kliknij Wersja robocza (lub Uruchomiono w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe () i wybierz Zarządzaj urządzeniami testowymi.
  4. Wpisz token uwierzytelniania instalacji urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.

Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

Niezależnie od tego, czy utworzysz eksperyment przy użyciu Zdalnej konfiguracji, Narzędzia do tworzenia powiadomień czy funkcji wysyłania wiadomości w aplikacji w Firebase, możesz zweryfikować i rozpocząć eksperyment, monitorować go w trakcie jego trwania i zwiększać liczbę użytkowników, którzy będą w nim uczestniczyć.

Po zakończeniu eksperymentu możesz zapoznać się z ustawieniami użytymi przez najlepszy wariant i wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
  3. Aby upewnić się, że aplikacja ma użytkowników, którzy mogą zostać objęci eksperymentem, rozwiń szczegóły wersji roboczej i w sekcji Kierowanie i dystrybucja sprawdź wartość większą niż 0% (np. 1% użytkowników spełniających kryteria).
  4. Aby zmienić eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz prowadzić maksymalnie 24 eksperymenty na projekt naraz.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzać jego postęp i wyniki dla użytkowników, którzy uczestniczyli w nim do tej pory.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.

  2. Kliknij Bieganie, a następnie kliknij tytuł eksperymentu lub wyszukaj go. Na tej stronie znajdziesz różne zaobserwowane i modelowane statystyki trwającego eksperymentu, w tym:

    • % różnicy w stosunku do punktu odniesienia: miara poprawy wskaźnika w danym wariancie w stosunku do punktu odniesienia. Oblicza się go przez porównanie zakresu wartości wariantu z zakresem wartości odniesienia.
    • Prawdopodobieństwo przekroczenia wartości podstawowej: szacunkowe prawdopodobieństwo, że dany wariant będzie miał lepszy wynik niż wartość bazowa wybranego wskaźnika.
    • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z czasem zmieni się wartość danych.
    • Łącznie observed_metric: zaobserwowana skumulowana wartość dla punktu odniesienia lub wariantu. Ta wartość służy do pomiaru skuteczności każdego wariantu eksperymentu i jest wykorzystywana do obliczania wartości Poprawa, Zakres wartości, Prawdopodobieństwo przekroczenia wartości podstawowej i Prawdopodobieństwo, że będzie to najlepszy wariant. Zależnie od mierzonych danych kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

  3. Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku FCM i funkcji wysyłania wiadomości w aplikacji lub 14 dni w przypadku Zdalnej konfiguracji) dane na tej stronie wskazują, który wariant jest najlepszy (o ile występuje). Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.

Wdrożenie eksperymentu dla wszystkich użytkowników

Gdy eksperyment minie wystarczająco długo, że uzyskasz „najlepszy wariant” lub zwycięski wariant, możesz udostępnić eksperyment wszystkim użytkownikom. Dzięki temu możesz wybrać wariant, który będzie od tej pory publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłoni jednoznacznej zwycięzcy, możesz udostępnić wariant wszystkim użytkownikom.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij Ukończony lub W toku, kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom, a potem kliknij menu kontekstowe () Wdróż wariant.

  3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:

    • W przypadku eksperymentu wykorzystującego kompozytora powiadomień użyj okna Wdróż wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Zdalna konfiguracja wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji chcesz zaktualizować. Kryteria kierowania określone podczas tworzenia eksperymentu są dodawane do szablonu jako nowy warunek, aby mieć pewność, że wdrożenie dotyczy tylko użytkowników, których obejmuje eksperyment. Kliknij Sprawdź w Zdalnej konfiguracji i sprawdź zmiany, a potem kliknij Opublikuj zmiany, aby zakończyć wdrażanie.
    • W przypadku eksperymentu dotyczącego wysyłania wiadomości w aplikacji w oknie dialogowym wybierz wariant, który należy wdrożyć jako samodzielną kampanię wysyłającą wiadomości w aplikacji. Po wybraniu nastąpi przekierowanie na ekran tworzenia wiadomości FIAM, gdzie możesz wprowadzić ewentualne zmiany przed opublikowaniem.

Rozwiń eksperyment

Jeśli stwierdzisz, że w ramach eksperymentu nie ma wystarczającej liczby użytkowników do wskazania zwycięzcy przez Testy A/B, możesz rozszerzyć eksperyment, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Wybierz aktywny eksperyment, który chcesz edytować.
  3. W Przeglądzie eksperymentu kliknij menu kontekstowe (), a następnie Edytuj aktywny eksperyment.
  4. W oknie Kierowanie widoczna jest opcja zwiększenia odsetka użytkowników biorących udział w eksperymencie. Wybierz liczbę większą od bieżącego odsetka i kliknij Opublikuj. Eksperyment zostanie przekazany do wskazanego odsetka użytkowników.

Duplikowanie lub przerywanie eksperymentu

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij Ukończony lub Aktywny, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie kliknij Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, którzy mają wziąć udział w eksperymencie, korzystając z podanych niżej kryteriów kierowania na użytkowników.

Kryterium kierowania Operatory Wartości Uwaga
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne		 Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz objąć eksperymentem.

Jeśli użyjesz dowolnego z operatorów zawiera, nie zawiera lub dopasowanie ścisłe, możesz podać listę wartości rozdzielonych przecinkami.

Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może zostać dopasowane do całego ciągu znaków wersji docelowej lub do jego części. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Odbiorcy zawiera wszystkie z,
obejmuje co najmniej jeden z,
nie obejmuje wszystkich spośród,
nie zawiera co najmniej jednego z		 Wybierz co najmniej 1 listę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać objęci Twoim eksperymentem. Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą potrzebować kilku dni na zebranie danych, ponieważ podlegają opóźnieniu w przetwarzaniu danych Analytics. Opóźnienie to najczęściej występuje w przypadku nowych użytkowników, którzy są zwykle zarejestrowani w kwalifikujących się grupach odbiorców w ciągu 24–48 godzin od utworzenia, lub w przypadku list odbiorców utworzonych niedawno.
Właściwość użytkownika W przypadku tekstu:
zawiera,
nie zawiera,
ściśle pasuje do,
zawiera wyrażenie regularne

W przypadku liczb:
<, ≤, =, ≥, > 		Usługa użytkownika w Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, oraz udostępnia szereg opcji wyboru wartości właściwości użytkownika.

Na kliencie możesz ustawić tylko wartości ciągu znaków dla właściwości użytkownika. W przypadku warunków z operatorami liczbowymi usługa Zdalna konfiguracja konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.		 Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może zostać dopasowane do całego ciągu znaków wersji docelowej lub do jego części. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Kraj lub region Nie dotyczy Co najmniej jeden kraj lub region służący do wyboru użytkowników, którzy mogą zostać objęci eksperymentem.  
Języki Nie dotyczy Co najmniej jeden język i regiony użyte do wybrania użytkowników, którzy mogą zostać objęci eksperymentem.  
Pierwsze uruchomienie Więcej niż
Mniejsze niż
Między 		Kieruj reklamy na użytkowników na podstawie tego, kiedy po raz pierwszy otworzyli Twoją aplikację (liczbę dni).
Ostatnia interakcja z aplikacją Więcej niż
Mniejsze niż
Między 		Kieruj reklamy na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją, określona w dniach.

Dane Testów A/B

Podczas tworzenia eksperymentu wybierasz dane podstawowe, czyli cele, które posłużą do wyłonienia zwycięskiego wariantu. Warto też śledzić inne dane, które pomogą Ci lepiej poznać skuteczność poszczególnych wariantów eksperymentu i śledzić istotne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji czy przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie pięć rodzajów danych.

Załóżmy na przykład, że dodajesz do aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych komunikatów zachęcających do działania. W tym przypadku możesz ustawić Przychody z zakupów jako dane celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które wygenerowało najwyższe przychody z zakupów w aplikacji. Chcesz też śledzić, który wariant generuje więcej konwersji w przyszłości i utrzymuj użytkowników, więc możesz dodać taką opcję w sekcji Inne dane do śledzenia:

  • Szacunkowe łączne przychody, które pozwalają sprawdzić, jak różnią się łączne przychody z zakupów w aplikacji i z reklam w przypadku tych 2 wariantów.
  • Utrzymanie (1 dzień), Utrzymanie (2–3 dni), Utrzymanie (4–7 dni), aby śledzić dzienny/tygodniowy wskaźnik utrzymania użytkowników

W tabelach poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych celów i innych danych.

Dane celów

Wskaźnik Opis
Użytkownicy, u których nie wystąpił błąd Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam
Szacunkowe łączne przychody Łączna wartość z zakupów i szacunkowe przychody z reklam.
Przychody z zakupów Połączona wartość wszystkich zdarzeń purchase i in_app_purchase.
Utrzymanie użytkowników (1 dzień) Liczba użytkowników, którzy wracają do Twojej aplikacji każdego dnia.
Utrzymanie użytkowników (2–3 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 2–3 dni.
Utrzymanie użytkowników (4–7 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 4–7 dni.
Utrzymanie użytkowników (8–14 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej) Liczba użytkowników, którzy wrócili do Twojej aplikacji co najmniej 15 dni od ostatniego użycia.
first_open Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany jako część ścieżki konwersji.

Inne dane

Wskaźnik Opis
notification_dismiss Zdarzenie Analytics, które jest wywoływane po zamknięciu powiadomienia wysłanego przez kompozytora powiadomień (tylko na Androidzie).
notification_receive Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez kompozytora powiadomień nadejdzie w czasie, gdy aplikacja działa w tle (tylko na Androidzie).
os_update Zdarzenie Analytics, które śledzi aktualizację systemu operacyjnego urządzenia do nowej wersji.Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu.
session_start Zdarzenie Analytics, które zlicza sesje użytkownika w aplikacji. Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.