Tworzenie eksperymentów Zdalnej konfiguracji Firebase z Testami A/B

Gdy za pomocą Zdalnej konfiguracji Firebase wdrażasz ustawienia aplikacji, która ma aktywnych użytkowników, musisz mieć pewność, że wszystko działa poprawnie. Eksperymentów możesz wykorzystać w ramach testów A/B, aby określić:

  • Najlepszy sposób na wdrożenie funkcji, która zwiększy wygodę użytkowników. Często deweloperzy aplikacji nie dowiadują się, że ich użytkownicy nie podobają się im nowe funkcje lub zaktualizowane środowisko, dopóki ocena ich aplikacji w sklepie z aplikacjami nie spadnie. Dzięki testom A/B możesz ocenić, czy użytkownikom podobają się nowe warianty funkcji czy też wolą aplikację w obecnej wersji. Ponadto pozostawienie większości użytkowników w grupie bazowej zapewnia, że większość z nich będzie mogła nadal korzystać z aplikacji bez żadnych zmian w jej działaniu ani wyglądzie do czasu zakończenia eksperymentu.
  • Najlepszy sposób na optymalizację wrażeń użytkownika pod kątem celów biznesowych. Czasami wprowadzasz zmiany w usłudze, aby zmaksymalizować dane, np. przychody lub utrzymanie użytkowników. Za pomocą testów A/B określasz cel biznesowy, a Firebase przeprowadza analizę statystyczną, aby określić, czy wariant jest skuteczniejszy od punktu odniesienia dla wybranego celu.

Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:

  1. Utwórz eksperyment.
  2. Zweryfikuj eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment Zdalnej konfiguracji pozwala ocenić wiele wariantów na podstawie jednego lub kilku parametrów Zdalnej konfiguracji.

  1. Zaloguj się w konsoli Firebase i sprawdź, czy w projekcie jest włączona usługa Google Analytics, dzięki czemu eksperyment ma dostęp do danych Analytics.

    Jeśli podczas tworzenia projektu nie włączysz Google Analytics, możesz to zrobić na karcie Integracje. Aby ją otworzyć, kliknij > Ustawienia projektu w konsoli Firebase.

  2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.

  3. Kliknij Utwórz eksperyment, a gdy pojawi się prośba o nazwę usługi, z którą chcesz poeksperymentować, wybierz Zdalna konfiguracja.

  4. Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.

  5. Wypełnij pola Kierowanie, wybierając najpierw aplikację, która ma korzystać z eksperymentu. Możesz też skierować eksperyment na podzbiór użytkowników, klikając oraz, a następnie wybierając opcje z poniższej listy:

    • Wersja: co najmniej 1 wersja aplikacji.
    • Numer kompilacji: kod wersji aplikacji.
    • Języki: co najmniej jeden język i region używany do wyboru użytkowników, którzy mogą być objęci eksperymentem.
    • Kraj/region: co najmniej jeden kraj lub region do wyboru użytkowników, którzy mają wziąć udział w eksperymencie.
    • Odbiorcy użytkowników: listy odbiorców Analytics używane do kierowania reklam na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
    • Właściwość użytkownika: co najmniej 1 właściwość użytkownika w Analytics służąca do wyboru użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.

    • Pierwsze uruchomienie: kierowanie na użytkowników według tego, kiedy po raz pierwszy uruchomili aplikację.

      Kierowanie na użytkowników według czasu pierwszego otwarcia jest dostępne po wybraniu aplikacji na Androida lub iOS. Jest ono obsługiwane przez następujące wersje pakietu SDK Zdalnej konfiguracji: Apple platform SDK w wersji 9.0.0 lub nowszej oraz Android SDK w wersji 21.1.1 lub nowszej (Firebase BoM w wersji 30.3.0 lub nowszej).

      Usługa Analytics musi też być włączona dla klienta podczas pierwszego zdarzenia uruchomienia.

  6. Ustaw Odsetek użytkowników docelowych: wpisz odsetek użytkowników aplikacji spełniających kryteria określone w sekcji Kieruj reklamy na użytkowników, który chcesz równomiernie podzielić między wariant podstawowy a co najmniej 1 wariant w eksperymencie. Może to być dowolna wartość procentowa między 0,01% a 100%. Użytkownicy są przypisywani losowo do każdego eksperymentu, w tym do eksperymentów zduplikowanych.

  7. Opcjonalnie skonfiguruj zdarzenie aktywacji, aby mieć pewność, że w eksperymencie zliczane będą tylko dane użytkowników, którzy najpierw wywołali jakieś zdarzenie Analytics. Pamiętaj, że wszyscy użytkownicy pasujący do parametrów kierowania otrzymają eksperymentalne wartości Zdalnej konfiguracji, ale w wynikach eksperymentu uwzględnimy tylko ci, którzy wywołają zdarzenie aktywacji.

    Aby eksperyment był prawidłowy, sprawdź, czy wybrane zdarzenie następuje po aktywowaniu pobranych wartości konfiguracyjnych w aplikacji. Dodatkowo nie można używać następujących zdarzeń, ponieważ zawsze występują przed aktywacją pobranych wartości:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open

  8. W sekcji Cele eksperymentu wybierz podstawowe dane, które chcesz śledzić, i dodaj z listy dodatkowe dane, które chcesz śledzić. Są to cele wbudowane (zakupy, przychody, utrzymanie, użytkownicy, u których nie wystąpił błąd itp.), zdarzeń konwersji Analytics i innych zdarzeń Analytics. Gdy skończysz, kliknij Dalej.

  9. W sekcji Warianty wybierz element bazowy i co najmniej 1 wariant eksperymentu. Za pomocą listy Wybierz lub utwórz nowy dodaj co najmniej 1 parametr do eksperymentowania. Możesz utworzyć parametr, który nie był wcześniej używany w konsoli Firebase, ale musi istnieć w aplikacji, aby mógł działać. Możesz powtórzyć ten krok, by dodać do eksperymentu wiele parametrów.

  10. (Opcjonalnie) Aby dodać do eksperymentu więcej niż 1 wariant, kliknij Dodaj kolejny wariant.

  11. Zmień co najmniej 1 parametr w określonych wersjach. Wszystkie niezmienione parametry są takie same w przypadku użytkowników, którzy nie zostali uwzględnieni w eksperymencie.

  12. Rozwiń Wagi wariantu, aby wyświetlić lub zmienić wagę wariantu na potrzeby eksperymentu. Domyślnie każdy wariant ma taką samą wagę. Pamiętaj, że nierówne rozłożenie wag może wydłużyć czas gromadzenia danych, a nie można ich zmienić po rozpoczęciu eksperymentu.

  13. Kliknij Sprawdź, aby zapisać eksperyment.

Możesz utworzyć maksymalnie 300 eksperymentów na projekt, co może się składać z maksymalnie 24 uruchomionych eksperymentów – pozostałe jako wersje robocze lub zakończone.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Za pomocą tego tokena możesz testować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby zweryfikować eksperyment na urządzeniu testowym:

  1. Pobierz token uwierzytelniania instalacji w ten sposób:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
    }
  });
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
  3. Kliknij Wersja robocza (lub Uruchomiono w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe () i wybierz Zarządzaj urządzeniami testowymi.
  4. Wpisz token uwierzytelniania instalacji urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie testowe.
  5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.

Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

Niezależnie od tego, czy utworzysz eksperyment przy użyciu Zdalnej konfiguracji, Narzędzia do tworzenia powiadomień czy funkcji wysyłania wiadomości w aplikacji w Firebase, możesz zweryfikować i rozpocząć eksperyment, monitorować go w trakcie jego trwania i zwiększać liczbę użytkowników, którzy będą w nim uczestniczyć.

Po zakończeniu eksperymentu możesz zapoznać się z ustawieniami użytymi przez najlepszy wariant i wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
  3. Aby upewnić się, że aplikacja ma użytkowników, którzy mogą zostać objęci eksperymentem, rozwiń szczegóły wersji roboczej i w sekcji Kierowanie i dystrybucja sprawdź wartość większą niż 0% (np. 1% użytkowników spełniających kryteria).
  4. Aby zmienić eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz prowadzić maksymalnie 24 eksperymenty na projekt naraz.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzać jego postęp i wyniki dla użytkowników, którzy uczestniczyli w nim do tej pory.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.

  2. Kliknij Bieganie, a następnie kliknij tytuł eksperymentu lub wyszukaj go. Na tej stronie znajdziesz różne zaobserwowane i modelowane statystyki trwającego eksperymentu, w tym:

    • % różnicy w stosunku do punktu odniesienia: miara poprawy wskaźnika w danym wariancie w stosunku do punktu odniesienia. Oblicza się go przez porównanie zakresu wartości wariantu z zakresem wartości odniesienia.
    • Prawdopodobieństwo przekroczenia wartości podstawowej: szacunkowe prawdopodobieństwo, że dany wariant będzie miał lepszy wynik niż wartość bazowa wybranego wskaźnika.
    • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z czasem zmieni się wartość danych.
    • Łącznie observed_metric: zaobserwowana skumulowana wartość dla punktu odniesienia lub wariantu. Ta wartość służy do pomiaru skuteczności każdego wariantu eksperymentu i jest wykorzystywana do obliczania wartości Poprawa, Zakres wartości, Prawdopodobieństwo przekroczenia wartości podstawowej i Prawdopodobieństwo, że będzie to najlepszy wariant. Zależnie od mierzonych danych kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

  3. Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku FCM i funkcji wysyłania wiadomości w aplikacji lub 14 dni w przypadku Zdalnej konfiguracji) dane na tej stronie wskazują, który wariant jest najlepszy (o ile występuje). Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.

Wdrożenie eksperymentu dla wszystkich użytkowników

Gdy eksperyment minie wystarczająco długo, że uzyskasz „najlepszy wariant” lub zwycięski wariant, możesz udostępnić eksperyment wszystkim użytkownikom. Dzięki temu możesz wybrać wariant, który będzie od tej pory publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłoni jednoznacznej zwycięzcy, możesz udostępnić wariant wszystkim użytkownikom.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij Ukończony lub W toku, kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom, a potem kliknij menu kontekstowe () Wdróż wariant.

  3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:

    • W przypadku eksperymentu wykorzystującego kompozytora powiadomień użyj okna Wdróż wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Zdalna konfiguracja wybierz wariant, aby określić, które wartości parametrów Zdalnej konfiguracji chcesz zaktualizować. Kryteria kierowania określone podczas tworzenia eksperymentu są dodawane do szablonu jako nowy warunek, aby mieć pewność, że wdrożenie dotyczy tylko użytkowników, których obejmuje eksperyment. Kliknij Sprawdź w Zdalnej konfiguracji i sprawdź zmiany, a potem kliknij Opublikuj zmiany, aby zakończyć wdrażanie.
    • W przypadku eksperymentu dotyczącego wysyłania wiadomości w aplikacji w oknie dialogowym wybierz wariant, który należy wdrożyć jako samodzielną kampanię wysyłającą wiadomości w aplikacji. Po wybraniu nastąpi przekierowanie na ekran tworzenia wiadomości FIAM, gdzie możesz wprowadzić ewentualne zmiany przed opublikowaniem.

Rozwiń eksperyment

Jeśli stwierdzisz, że w ramach eksperymentu nie ma wystarczającej liczby użytkowników do wskazania zwycięzcy przez Testy A/B, możesz rozszerzyć eksperyment, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Wybierz aktywny eksperyment, który chcesz edytować.
  3. W Przeglądzie eksperymentu kliknij menu kontekstowe (), a następnie Edytuj aktywny eksperyment.
  4. W oknie Kierowanie widoczna jest opcja zwiększenia odsetka użytkowników biorących udział w eksperymencie. Wybierz liczbę większą od bieżącego odsetka i kliknij Opublikuj. Eksperyment zostanie przekazany do wskazanego odsetka użytkowników.

Duplikowanie lub przerywanie eksperymentu

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij Testy A/B.
  2. Kliknij Ukończony lub Aktywny, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie kliknij Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, którzy mają wziąć udział w eksperymencie, korzystając z podanych niżej kryteriów kierowania na użytkowników.

Kryterium kierowania Operatory Wartości Uwaga
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne		 Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz objąć eksperymentem.

Jeśli użyjesz dowolnego z operatorów zawiera, nie zawiera lub dopasowanie ścisłe, możesz podać listę wartości rozdzielonych przecinkami.

Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może zostać dopasowane do całego ciągu znaków wersji docelowej lub do jego części. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Odbiorcy zawiera wszystkie z,
obejmuje co najmniej jeden z,
nie obejmuje wszystkich spośród,
nie zawiera co najmniej jednego z		 Wybierz co najmniej 1 listę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać objęci Twoim eksperymentem. Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą potrzebować kilku dni na zebranie danych, ponieważ podlegają opóźnieniu w przetwarzaniu danych Analytics. Opóźnienie to najczęściej występuje w przypadku nowych użytkowników, którzy są zwykle zarejestrowani w kwalifikujących się grupach odbiorców w ciągu 24–48 godzin od utworzenia, lub w przypadku list odbiorców utworzonych niedawno.

W przypadku Zdalnej konfiguracji oznacza to, że nawet jeśli użytkownik technicznie zakwalifikował się do listy odbiorców, a Analytics nie dodał go jeszcze do tej listy przy wykonywaniu metody „fetchAndActivate()”, nie zostanie on uwzględniony w eksperymencie.

Właściwość użytkownika W przypadku tekstu:
zawiera,
nie zawiera,
ściśle pasuje do,
zawiera wyrażenie regularne

W przypadku liczb:
<, ≤, =, ≥, > 		Usługa użytkownika w Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie, oraz udostępnia szereg opcji wyboru wartości właściwości użytkownika.

Na kliencie możesz ustawić tylko wartości ciągu znaków dla właściwości użytkownika. W przypadku warunków z operatorami liczbowymi usługa Zdalna konfiguracja konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.		 Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może zostać dopasowane do całego ciągu znaków wersji docelowej lub do jego części. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Kraj lub region Nie dotyczy Co najmniej jeden kraj lub region służący do wyboru użytkowników, którzy mogą zostać objęci eksperymentem.  
Języki Nie dotyczy Co najmniej jeden język i regiony użyte do wybrania użytkowników, którzy mogą zostać objęci eksperymentem.  
Pierwsze uruchomienie Przed
Po

Kieruj reklamy na użytkowników z uwzględnieniem tego, kiedy po raz pierwszy otwierają Twoją aplikację:

  • Kliknij Nowi użytkownicy, aby kierować reklamy na użytkowników, którzy po raz pierwszy otworzyli Twoją aplikację po określonej dacie i godzinie w przyszłości.
  • Wybierz Zakres czasu, aby kierować reklamy na użytkowników, którzy po raz pierwszy otworzyli Twoją aplikację w określonym zakresie przed podaną datą i godziną lub po niej. Połącz warunki Przed i Po, aby ustawić kierowanie na użytkowników w wybranym przedziale czasu.

Kierowanie na użytkowników według pierwszego uruchomienia jest dostępne po wybraniu aplikacji na Androida lub iOS. Jest ono obecnie obsługiwane przez pakiety SDK Zdalnej konfiguracji w wersji 9.0.0 lub nowszej oraz Android SDK w wersji 21.1.1 lub nowszej (Firebase BoM w wersji 30.3.0 lub nowszej).

Usługa Analytics musi też być włączona u klienta podczas zdarzenia pierwszego otwarcia.

Dane Testów A/B

Podczas tworzenia eksperymentu wybierasz dane podstawowe, czyli cele, które posłużą do wyłonienia zwycięskiego wariantu. Warto też śledzić inne dane, które pomogą Ci lepiej poznać skuteczność poszczególnych wariantów eksperymentu i śledzić istotne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji czy przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie pięć rodzajów danych.

Załóżmy na przykład, że używasz Zdalnej konfiguracji do uruchamiania w aplikacji 2 różnych procesów gry i chcesz optymalizować kampanię pod kątem zakupów w aplikacji i przychodów z reklam, ale jednocześnie chcesz śledzić stabilność i utrzymanie użytkowników każdego wariantu. W takim przypadku możesz wybrać dane o celu Szacunkowe łączne przychody, ponieważ uwzględniają one przychody z zakupów w aplikacji i przychody z reklam, a w sekcji Inne dane do śledzenia możesz dodać taką wartość:

  • Aby śledzić dzienny i tygodniowy wskaźnik utrzymania użytkowników, dodaj wartości Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni).
  • Aby porównać stabilność między 2 procesami gry, dodaj Użytkownicy, u których nie wystąpiła awaria.
  • Aby zobaczyć bardziej szczegółowe widoki danych o poszczególnych rodzajach przychodów, dodaj Przychody z zakupów i Szacunkowe przychody z reklam.

W tabelach poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych celów i innych danych.

Dane celów

Wskaźnik Opis
Użytkownicy, u których nie wystąpił błąd Odsetek użytkowników, którzy nie napotkali błędów w Twojej aplikacji wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam
Szacunkowe łączne przychody Łączna wartość z zakupów i szacunkowe przychody z reklam.
Przychody z zakupów Połączona wartość wszystkich zdarzeń purchase i in_app_purchase.
Utrzymanie użytkowników (1 dzień) Liczba użytkowników, którzy wracają do Twojej aplikacji każdego dnia.
Utrzymanie użytkowników (2–3 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 2–3 dni.
Utrzymanie użytkowników (4–7 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 4–7 dni.
Utrzymanie użytkowników (8–14 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej) Liczba użytkowników, którzy wrócili do Twojej aplikacji co najmniej 15 dni od ostatniego użycia.
first_open Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używany jako część ścieżki konwersji.

Inne dane

Wskaźnik Opis
notification_dismiss Zdarzenie Analytics, które jest wywoływane po zamknięciu powiadomienia wysłanego przez kompozytora powiadomień (tylko na Androidzie).
notification_receive Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez kompozytora powiadomień nadejdzie w czasie, gdy aplikacja działa w tle (tylko na Androidzie).
os_update Zdarzenie Analytics, które śledzi aktualizację systemu operacyjnego urządzenia do nowej wersji.Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlane w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu.
session_start Zdarzenie Analytics, które zlicza sesje użytkownika w aplikacji. Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.

Eksportowanie danych do BigQuery

Oprócz wyświetlania danych eksperymentu A/B w konsoli Firebase możesz przeglądać i analizować dane eksperymentu w BigQuery. Testy A/B nie mają osobnej tabeli BigQuery, ale przynależność do eksperymentów i wariantów jest przechowywana w przypadku każdego zdarzenia Google Analytics w tabelach zdarzeń Analytics.

Właściwości użytkownika, które zawierają informacje o eksperymencie, mają postać userProperty.key like "firebase_exp_%" lub userProperty.key = "firebase_exp_01", gdzie 01 to identyfikator eksperymentu, a userProperty.value.string_value zawiera indeks wariantu eksperymentu (wartość zero).

Możesz skorzystać z tych właściwości użytkownika w eksperymencie, aby wyodrębnić dane eksperymentu. Dzięki temu możesz dzielić wyniki eksperymentu na wiele różnych sposobów i niezależnie weryfikować wyniki testów A/B.

Aby rozpocząć, wykonaj następujące czynności zgodnie z opisem w tym przewodniku:

  1. Włącz w konsoli Firebase eksport do BigQuery w Google Analytics
  2. Uzyskiwanie dostępu do danych Testów A/B za pomocą BigQuery
  3. Przykładowe zapytania

Włącz w konsoli Firebase eksport do BigQuery w przypadku Google Analytics

Jeśli masz abonament Spark, możesz użyć piaskownicy BigQuery, aby uzyskać bezpłatny dostęp do BigQuery (z uwzględnieniem limitów piaskownicy). Więcej informacji znajdziesz w artykule Ceny i piaskownica BigQuery.

Najpierw upewnij się, że eksportujesz dane Analytics do BigQuery:

  1. Otwórz kartę Integracje, do której możesz uzyskać dostęp, klikając > Ustawienia projektu w konsoli Firebase.
  2. Jeśli korzystasz już z BigQuery z innymi usługami Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
  3. Przeczytaj artykuł Łączenie Firebase z BigQuery i kliknij Dalej.
  4. W sekcji Skonfiguruj integrację włącz przełącznik Google Analytics.

  5. Wybierz region i ustawienia eksportu.

  6. Kliknij Połącz z BigQuery.

W zależności od wybranego sposobu eksportowania danych udostępnienie tabel może potrwać nawet 1 dzień. Więcej informacji o eksportowaniu danych projektu do BigQuery znajdziesz w artykule Eksportowanie danych projektu do BigQuery.

Dostęp do danych Testów A/B w BigQuery

Przed wysłaniem zapytania o dane związane z konkretnym eksperymentem musisz uzyskać niektóre lub wszystkie z tych danych do użycia w zapytaniu:

  • Identyfikator eksperymentu: możesz go znaleźć w adresie URL strony Przegląd eksperymentu. Jeśli np. adres URL ma postać https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25.
  • Identyfikator usługi w Google Analytics: to 9-cyfrowy identyfikator usługi w Google Analytics. Znajdziesz ją w Google Analytics. Pojawia się też w BigQuery, gdy rozwiniesz nazwę projektu, aby wyświetlić nazwę tabeli zdarzeń Google Analytics (project_name.analytics_000000000.events).
  • Data eksperymentu: aby przyspieszyć i usprawnić zapytanie, warto ograniczyć zapytania do partycji tabel dziennych zdarzeń Google Analytics, które zawierają dane eksperymentu – tabele oznaczone za pomocą sufiksu YYYYMMDD. Jeśli więc Twój eksperyment trwał od 2 lutego do 2 maja 2024 r., musisz określić _TABLE_SUFFIX between '20240202' AND '20240502'. Przykład znajdziesz w sekcji Wybieranie wartości określonego eksperymentu.
  • Nazwy zdarzeń: zwykle odpowiadają one danym celu skonfigurowanym przez Ciebie w eksperymencie. np. zdarzenia in_app_purchase, ad_impression lub user_retention.
.

Po zgromadzeniu informacji potrzebnych do wygenerowania zapytania:

  1. Otwórz BigQuery w konsoli Google Cloud.
  2. Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
  3. Dodaj zapytanie. Przykładowe zapytania, które należy wykonać, znajdziesz w sekcji Przeglądanie przykładowych zapytań.
  4. Kliknij Uruchom.

Zapytanie o dane eksperymentu za pomocą zapytania wygenerowanego automatycznie w konsoli Firebase

Jeśli korzystasz z abonamentu Blaze, na stronie Omówienie eksperymentu znajdziesz przykładowe zapytanie zwracające nazwę eksperymentu, jego warianty, nazwy zdarzeń oraz liczbę zdarzeń z wyświetlanego eksperymentu.

Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:

  1. W konsoli Firebase otwórz Testy A/B i wybierz eksperyment A/B, którego ma dotyczyć zapytanie, aby otworzyć Przegląd eksperymentu.
  2. W menu Opcje w sekcji Integracja z BigQuery wybierz Zapytanie o dane eksperymentu. Spowoduje to otwarcie projektu w BigQuery w konsoli Google Cloud i udostępnienie podstawowego zapytania, którego możesz używać do wysyłania zapytań o dane eksperymentu.

Przykład poniżej pokazuje wygenerowane zapytanie do eksperymentu z 3 wariantami (w tym z elementem bazowym) o nazwie „Zimowy eksperyment powitalny”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, niepowtarzalne zdarzenie i liczbę zdarzeń w przypadku każdego zdarzenia. Pamiętaj, że kreator zapytań nie określa nazwy projektu w nazwie tabeli, ponieważ otwiera się bezpośrednio w projekcie.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Więcej przykładów zapytań znajdziesz w artykule Przykładowe zapytania.

Przykładowe zapytania

W sekcjach poniżej znajdziesz przykłady zapytań, których możesz użyć do wyodrębnienia danych eksperymentu z testami A/B z tabel zdarzeń Google Analytics.

Wyodrębnij wartości odchyleń standardowych zakupu i eksperymentu ze wszystkich eksperymentów

Dane z wyników eksperymentu możesz wykorzystać do niezależnej weryfikacji wyników Testów A/B Firebase. Ta instrukcja SQL BigQuery wyodrębnia warianty eksperymentu, liczbę unikalnych użytkowników w każdym wariancie oraz sumuje łączne przychody ze zdarzeń in_app_purchase i ecommerce_purchase oraz odchylenia standardowe dla wszystkich eksperymentów w zakresie czasowym określonym jako data rozpoczęcia i zakończenia _TABLE_SUFFIX. Danych uzyskanych z tego zapytania możesz użyć w generatorze istotności statystycznej dla jednostronnych testów T, aby sprawdzić, czy wyniki dostarczane przez Firebase pasują do Twojej analizy.

Więcej informacji o tym, jak Testy A/B obliczają wnioskowanie, znajdziesz w artykule Interpretowanie wyników testu.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wybierz wartości z konkretnego eksperymentu

Przykład poniżej pokazuje, jak uzyskać dane z konkretnego eksperymentu w BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wariantów (w tym punkt odniesienia), nazwy zdarzeń i liczbę zdarzeń.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName