Twórz eksperymenty z wysyłaniem wiadomości w aplikacji za pomocą Testów A/B

Gdy kontaktujesz się z użytkownikami lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że wszystko robisz dobrze. Testy A/B mogą pomóc Ci znaleźć optymalne sformułowania i sposób prezentacji, ponieważ umożliwiają testowanie wariantów wiadomości na wybranych grupach użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie klientów czy konwersja w przypadku oferty, testy A/B mogą przeprowadzać analizę statystyczną, aby określić, czy wariant wiadomości jest skuteczniejszy od wersji podstawowej w przypadku wybranego celu.

Aby przeprowadzić test A/B wariantów funkcji z wartością bazową:

  1. Utwórz eksperyment.
  2. Sprawdź eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment, który korzysta z Firebase In-App Messaging, umożliwia ocenę wielu wariantów pojedynczej wiadomości w aplikacji.

  1. Zaloguj się w Firebasekonsoli i sprawdź, czy w projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.

    Jeśli podczas tworzenia projektu nie włączono Google Analytics, można to zrobić na karcie Integracje, do której można przejść, klikając > Ustawienia projektu w Firebase konsoli.

  2. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.

  3. Kliknij Utwórz eksperyment, a następnie, gdy pojawi się prośba o wybranie usługi, z którą chcesz przeprowadzić eksperyment, kliknij Wiadomości w aplikacji.

  4. Możesz też w menu nawigacyjnym Firebase konsoli rozwinąć Zaangażowanie, a następnie kliknąć In-App Messaging. Następnie kliknij Nowy eksperyment.

  5. Wpisz nazwę i opcjonalnie opis eksperymentu, a następnie kliknij Dalej.

  6. Wypełnij pola w sekcji Kierowanie, zaczynając od wyboru aplikacji, która korzysta z eksperymentu. Możesz też kierować eksperyment do podzbioru użytkowników, wybierając opcje, które obejmują:

    • Wersja: co najmniej jedna wersja aplikacji.
    • Lista odbiorców użytkowników: Analytics listy odbiorców używane do kierowania reklam na użytkowników, którzy mogą być objęci eksperymentem.
    • Właściwość użytkownika: co najmniej 1 Analytics właściwość użytkownika do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
    • Kraj/region: co najmniej jeden kraj lub region, w którym można wybrać użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
    • Język urządzenia: co najmniej 1 język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
    • Pierwsze uruchomienie: kieruj na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację.
    • Ostatnie zaangażowanie w aplikację: kieruj reklamy na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją.

  7. Ustaw Odsetek użytkowników docelowych:wybierz odsetek użytkowników aplikacji (spełniających kryteria ustawione w sekcji Użytkownicy docelowi), których chcesz równomiernie podzielić między wersję podstawową a co najmniej 1 wariant w eksperymencie. Może to być dowolna wartość procentowa z zakresu od 0,01% do 100%. Odsetki są losowo przypisywane do użytkowników w przypadku każdego eksperymentu, w tym zduplikowanych eksperymentów.

  8. W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji, która będzie wysyłana do grupy podstawowej za pomocą interfejsu projektowania wiadomości używanego w przypadku zwykłej kampanii wiadomości w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 wartość bazową i 1 wariant.

  10. (opcjonalnie) Wpisz bardziej opisową nazwę każdego wariantu.

  11. (Opcjonalnie) U góry sekcji Wersje kliknij przycisk Porównaj wersje, aby porównać ze sobą kolejne wersje wiadomości z wiadomością podstawową.

  12. Określ wskaźnik celu eksperymentu, który będzie używany do oceny wariantów eksperymentu, oraz wszelkie dodatkowe wskaźniki, które chcesz wykorzystać z listy. Obejmują one wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie klientów itp.), Analytics zdarzeń konwersji i innychAnalytics zdarzeń.

  13. Skonfiguruj harmonogram eksperymentu:

    • Ustaw datę rozpoczęcia i datę zakończenia eksperymentu.
    • Określ, jak wiadomości w aplikacji mają być wywoływane we wszystkich wersjach.

  14. Aby zapisać eksperyment, kliknij Sprawdź.

W każdym projekcie możesz mieć maksymalnie 300 eksperymentów, z czego maksymalnie 24 mogą być aktywne, a pozostałe mogą być wersjami roboczymi lub ukończonymi eksperymentami.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na urządzeniu testowym:

  1. Uzyskaj token uwierzytelniania instalacji w ten sposób:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Na pasku nawigacyjnym Firebase konsoli kliknij Testy A/B.
  3. Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe , a potem kliknij Zarządzaj urządzeniami testowymi.
  4. Wpisz token autoryzacji instalacji urządzenia testowego i wybierz wariant eksperymentu, który ma być wysłany na to urządzenie.
  5. Uruchom aplikację i sprawdź, czy na urządzeniu testowym otrzymywana jest wybrana wersja.

Więcej informacji o Firebase instalacjach znajdziesz w artykule Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

Niezależnie od tego, czy utworzysz eksperyment za pomocą Remote Config, kompozytora powiadomień czyFirebase In-App Messaging, możesz go następnie zweryfikować i rozpocząć, monitorować go w trakcie działania oraz zwiększać liczbę użytkowników objętych eksperymentem.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie wdrożyć je u wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
  2. Kliknij Wersja robocza, a następnie tytuł eksperymentu.
  3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i w sekcji Kierowanie i dystrybucja sprawdź, czy liczba jest większa niż 0% (np. 1% użytkowników spełniających kryteria).
  4. Aby zmienić eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. W ramach jednego projektu możesz przeprowadzać jednocześnie maksymalnie 24 eksperymenty.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć wyniki uzyskane przez użytkowników, którzy wzięli w nim udział.

  1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.

  2. Kliknij Trwa, a potem kliknij tytuł eksperymentu lub go wyszukaj. Na tej stronie możesz wyświetlić różne odnotowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym:

    • % różnicy wobec punktu odniesienia: miara poprawy wartości danego rodzaju danych w przypadku danego wariantu w porównaniu z wartością bazową. Obliczana przez porównanie zakresu wartości wariantu z zakresem wartości poziomu odniesienia.
    • Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż wartość podstawowa w przypadku wybranych danych.
    • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z czasem znajdzie się wartość danych.
    • Łącznie observed_metric: zaobserwowana wartość skumulowana w przypadku wersji podstawowej lub wariantu. Wartość ta służy do pomiaru skuteczności każdego wariantu eksperymentu i do obliczania wzrostu, zakresu wartości, prawdopodobieństwa uzyskania lepszych wyników niż punkt odniesienia i prawdopodobieństwa uzyskania najlepszych wyników. W zależności od mierzonych danych ta kolumna może być oznaczona jako „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

  3. Gdy eksperyment będzie trwać przez pewien czas (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskażą, który wariant jest „liderem” (jeśli w ogóle). Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formie wizualnej.

Wdrażanie eksperymentu u wszystkich użytkowników

Gdy eksperyment będzie trwać wystarczająco długo, aby można było wyłonić najlepszy wariant umożliwiający realizację Twojego celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie odtąd wyświetlany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił wyraźnego zwycięzcy, możesz udostępnić odmianę wszystkim użytkownikom.

  1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
  2. Kliknij Ukończono lub Trwa, a następnie kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom. Kliknij menu kontekstowe , a potem Wdróż wariant.

  3. Wdróż eksperyment dla wszystkich użytkowników, wykonując jedną z tych czynności:

    • W przypadku eksperymentu, w którym używasz kompozytora powiadomień, użyj okna Wdrażanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametrów Remote Config mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby wdrożenie wpływało tylko na użytkowników objętych eksperymentem. Po kliknięciu Sprawdź w Remote Config, aby przejrzeć zmiany, kliknij Opublikuj zmiany, aby ukończyć wdrażanie.
    • W przypadku eksperymentu In-App Messaging użyj okna, aby określić, która wersja powinna zostać wdrożona jako samodzielna kampania In-App Messaging. Po wybraniu tej opcji nastąpi przekierowanie do ekranu tworzenia FIAM, na którym możesz wprowadzić zmiany (jeśli to konieczne) przed opublikowaniem.

Rozwijanie eksperymentu

Jeśli zauważysz, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testing można było wyłonić zwycięzcę, możesz zwiększyć jego zasięg, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
  2. Wybierz trwający eksperyment, który chcesz edytować.
  3. W sekcji Podsumowanie eksperymentu kliknij menu kontekstowe , a potem Edytuj trwający eksperyment.
  4. W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż bieżący odsetek i kliknij Opublikuj. Eksperyment zostanie udostępniony wybranemu przez Ciebie odsetkowi użytkowników.

Duplikowanie i zatrzymywanie eksperymentu

  1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
  2. Kliknij Zakończone lub Trwające, najedź wskaźnikiem myszy na eksperyment, kliknij menu kontekstowe , a następnie kliknij Zduplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Użytkowników, którzy mają być uwzględnieni w eksperymencie, możesz kierować na podstawie tych kryteriów kierowania na użytkowników.

Kryterium kierowania Operatorzy Wartości Uwaga
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne		 Wpisz wartość co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

Gdy używasz operatorów zawiera, nie zawiera lub dokładnie pasuje, możesz podać listę wartości rozdzielonych przecinkami.

Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Odbiorcy zawiera wszystkie,
zawiera przynajmniej jeden,
nie zawiera wszystkich,
nie zawiera przynajmniej jednego		 Wybierz co najmniej 1 Analyticsgrupę odbiorców, na którą chcesz kierować reklamy, aby docierać do użytkowników, którzy mogą być objęci eksperymentem. Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą wymagać kilku dni na zebranie danych, ponieważ podlegają Analytics opóźnieniu w przetwarzaniu danych. Najprawdopodobniej wystąpi to opóźnienie w przypadku nowych użytkowników, którzy zwykle są dodawani do kwalifikujących się list odbiorców w ciągu 24–48 godzin od utworzenia, lub w przypadku niedawno utworzonych list odbiorców.
Właściwość użytkownika W przypadku tekstu:
zawiera,
nie zawiera,
dokładnie pasuje,
zawiera wyrażenie regularne

W przypadku liczb:
<, ≤, =, ≥, > 		Analytics Właściwość użytkownika służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. Dostępny jest szereg opcji wyboru wartości właściwości użytkownika.

Na kliencie możesz ustawiać tylko wartości ciągu znaków dla właściwości użytkownika. W przypadku warunków, które używają operatorów numerycznych, usługa Remote Config przekształca wartość odpowiedniej właściwości użytkownika w liczbę całkowitą lub zmiennoprzecinkową.		 Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Kraj/region Nie dotyczy Co najmniej 1 kraj lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.  
Języki Nie dotyczy Co najmniej 1 język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.  
Pierwsze uruchomienie Więcej niż
Mniej niż
Pomiędzy 		Kieruj na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację, podanego w dniach.
Ostatnia interakcja z aplikacją Więcej niż
Mniej niż
Pomiędzy 		Kieruj na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją (w dniach).

A/B Testing wskaźnika

Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik lub cel, który służy do określania zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność poszczególnych wariantów eksperymentu i obserwować ważne trendy, które mogą się różnić w zależności od wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 rodzajów danych innych niż cele.

Załóżmy na przykład, że dodajesz do aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych komunikatów zachęcających do działania. W takim przypadku możesz wybrać jako dane celu Przychody z zakupów, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło najwyższe przychody z zakupów w aplikacji. Chcesz też śledzić, która wersja przyniosła więcej przyszłych konwersji i utrzymanych użytkowników, więc w sekcji Inne kategorie danych do śledzenia możesz dodać te informacje:

  • Szacunkowe łączne przychody, aby zobaczyć, jak łączne przychody z zakupów w aplikacji i reklam różnią się w przypadku 2 wariantów.
  • Utrzymanie (1 dzień), Utrzymanie (2–3 dni), Utrzymanie (4–7 dni), aby śledzić dzienne/tygodniowe utrzymanie użytkowników.

W tabelach poniżej znajdziesz szczegółowe informacje o tym, jak obliczane są dane dotyczące celów i inne dane.

Dane celów

Dane Opis
Użytkownicy, u których nie wystąpił błąd Odsetek użytkowników, u których w aplikacji nie wystąpiły błędy wykryte przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam.
Szacunkowe łączne przychody Łączna wartość zakupów i szacunkowych przychodów z reklam.
Przychody z zakupów Łączna wartość wszystkich zdarzeń purchase i in_app_purchase.
Utrzymanie użytkowników (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Utrzymanie (2–3 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni.
Utrzymanie (4–7 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni.
Utrzymanie (8–14 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej) Liczba użytkowników, którzy wracają do aplikacji po co najmniej 15 dniach od ostatniego użycia.
first_open To Analytics zdarzenie jest wywoływane, gdy użytkownik po raz pierwszy otwiera aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używane w ramach ścieżki konwersji.

Inne wskaźniki

Dane Opis
notification_dismiss Analytics Zdarzenie wywoływane, gdy powiadomienie wysłane przez kompozytor powiadomień zostanie odrzucone (tylko na Androidzie).
notification_receive Analytics Zdarzenie wywoływane, gdy powiadomienie wysłane przez kompozytor powiadomień nadejdzie podczas działania aplikacji w tle (tylko na Androidzie).
os_update Analytics zdarzenie, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji.Więcej informacji znajdziesz w artykule Automatycznie zbierane zdarzenia.
screen_view Analytics Zdarzenie, które śledzi wyświetlenia ekranów w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu.
session_start Analytics Zdarzenie, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.