Tworzenie eksperymentów Zdalnej konfiguracji Firebase z Testami A/B

Gdy używasz Firebase Remote Config do wdrażania ustawień aplikacji z aktywną bazą użytkowników, musisz mieć pewność, że wszystko robisz prawidłowo. Za pomocą eksperymentów A/B Testing możesz określić:

• Najlepszy sposób wdrożenia funkcji, która zoptymalizuje wrażenia użytkowników. Zbyt często deweloperzy aplikacji dowiadują się, że użytkownicy nie lubią nowej funkcji lub zaktualizowanego interfejsu, dopiero gdy ocena aplikacji w sklepie z aplikacjami spadnie. Testy A/B pomagają sprawdzić, czy użytkownicy lubią nowe warianty funkcji, czy wolą aplikację w obecnej postaci. Dodatkowo utrzymywanie większości użytkowników w grupie podstawowej zapewnia, że większość użytkowników będzie mogła nadal korzystać z aplikacji bez żadnych zmian w jej działaniu lub wyglądzie do czasu zakończenia eksperymentu.
• Najlepszy sposób na optymalizację wrażeń użytkowników pod kątem celu biznesowego. Czasami wprowadzasz zmiany w produkcie, aby zmaksymalizować dane, takie jak przychody lub utrzymanie klientów. W przypadku testów A/B określasz cel biznesowy, a Firebase przeprowadza analizę statystyczną, aby sprawdzić, czy wariant osiąga lepsze wyniki niż element bazowy w zakresie wybranego celu.

Uwaga: aktualizacje w czasie rzeczywistym Remote Config nie są obsługiwane w przypadku wartości parametrów testu A/B. W przypadku eksperymentów Remote Config zalecamy stosowanie strategii pobierania i aktywowania.

Aby przeprowadzić test A/B wariantów funkcji z wartością bazową:

1. Utwórz eksperyment.
2. Sprawdź eksperyment na urządzeniu testowym.
3. Zarządzaj eksperymentem.

Ważne: upewnij się, że masz minimalną wersję pakietu SDK dla A/B Testing: Usług Google Play 11.4.2 na Androida i pakietu SDK Firebase na platformy Apple 4.5.0.

Utwórz eksperyment

Remote Config Eksperyment umożliwia ocenę wielu wariantów na podstawie co najmniej 1 Remote Configparametru.

1. Zaloguj się w Firebasekonsoli i sprawdź, czy w projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.

   Jeśli podczas tworzenia projektu nie włączono Google Analytics, możesz to zrobić na karcie Integracje, do której dostęp uzyskasz, klikając > Ustawienia projektu w Firebase konsoli.

2. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.

3. Kliknij Utwórz eksperyment, a potem kliknij Remote Config, gdy pojawi się prośba o wybranie usługi, z którą chcesz przeprowadzić eksperyment.

4. Wpisz nazwę i opcjonalny opis eksperymentu, a następnie kliknij Dalej.

5. Wypełnij pola w sekcji Kierowanie, zaczynając od wyboru aplikacji, która korzysta z eksperymentu. Możesz też kierować reklamy na podzbiór użytkowników, którzy mają brać udział w eksperymencie. W tym celu kliknij i, a potem wybierz opcje z tej listy:

   • Wersja: co najmniej jedna wersja aplikacji.
   • Numer kompilacji: kod wersji aplikacji.
   • Języki: co najmniej jeden język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
   • Kraj/region: co najmniej jeden kraj lub region, w którym wybierani są użytkownicy, którzy mają być uwzględnieni w eksperymencie.
   • Odbiorcy użytkowników: Analytics listy odbiorców używane do kierowania na użytkowników, którzy mogą zostać włączeni do eksperymentu.
   • Właściwość użytkownika: co najmniej 1 Analytics właściwość użytkownika do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.

   • Pierwsze uruchomienie: kieruj reklamy na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację.

     Kierowanie na użytkowników według czasu pierwszego otwarcia jest dostępne po wybraniu aplikacji na Androida lub iOS. Jest ono obsługiwane przez te Remote Configwersje pakietu SDK: pakiet SDK na platformy Apple w wersji 9.0.0 lub nowszej oraz pakiet SDK na Androida w wersji 21.1.1 lub nowszej (Firebase BoMwersja 30.3.0 lub nowsza).

     Analytics musi być też włączony na urządzeniu klienta podczas pierwszego zdarzenia otwarcia.

   Uwaga: ze względu na Google Analytics opóźnienie w przetwarzaniu danych eksperymenty kierowane na Analytics odbiorców mogą potrzebować więcej czasu na zebranie danych. Więcej informacji o tej i innych opcjach kierowania znajdziesz w artykule Kierowanie na użytkowników.

6. Ustaw Odsetek użytkowników docelowych:wpisz odsetek użytkowników aplikacji spełniających kryteria określone w sekcji Użytkownicy docelowi, których chcesz równomiernie podzielić między wersję podstawową a co najmniej 1 wariant w eksperymencie. Może to być dowolna wartość procentowa z zakresu od 0,01% do 100%. Użytkownicy są losowo przypisywani do każdego eksperymentu, w tym do zduplikowanych eksperymentów.

7. Opcjonalnie możesz ustawić zdarzenie aktywacji, aby w eksperymencie uwzględniać tylko dane użytkowników, którzy najpierw uruchomili określone zdarzenie Analytics. Pamiętaj, że wszyscy użytkownicy spełniający parametry kierowania otrzymają Remote Config wartości eksperymentalne, ale tylko ci, u których wystąpi zdarzenie aktywujące, zostaną uwzględnieni w wynikach eksperymentu.

   Aby eksperyment był prawidłowy, upewnij się, że wybrane zdarzenie występuje po aktywowaniu przez aplikację pobranych wartości konfiguracji. Dodatkowo nie można używać tych zdarzeń, ponieważ zawsze występują one przed aktywacją pobranych wartości:

   • app_install
   • app_remove
   • app_update
   • dynamic_link_first_open

8. W sekcji Cele eksperymentu wybierz podstawowe dane do śledzenia i dodaj z listy wszelkie dodatkowe dane, które chcesz śledzić. Obejmują one wbudowane cele (zakupy, przychody, utrzymanie, użytkownicy bez awarii itp.), Analytics zdarzeń konwersji i innychAnalytics zdarzeń. Po zakończeniu kliknij Dalej.

9. W sekcji Warianty wybierz punkt odniesienia i co najmniej 1 wariant eksperymentu. Na liście Wybierz lub utwórz nowe dodaj co najmniej 1 parametr, który chcesz przetestować. Możesz utworzyć parametr, który nie był wcześniej używany w konsoli Firebase, ale musi on występować w aplikacji, aby miał jakikolwiek wpływ. Aby dodać do eksperymentu kilka parametrów, możesz powtórzyć ten krok.

10. (Opcjonalnie) Aby dodać do eksperymentu więcej niż 1 wariant, kliknij Dodaj kolejny wariant.

11. Zmień co najmniej 1 parametr w przypadku konkretnych wariantów. Wszystkie niezmienione parametry są takie same w przypadku użytkowników, którzy nie są objęci eksperymentem.

12. Rozwiń Wagi wariantów, aby wyświetlić lub zmienić wagę wariantu w eksperymencie. Domyślnie każdy wariant ma taką samą wagę. Pamiętaj, że nierówne rozłożenie wag może spowodować wydłużenie czasu gromadzenia danych oraz że nie można zmienić tych ustawień po rozpoczęciu eksperymentu.

13. Aby zapisać eksperyment, kliknij Sprawdź.

Uwaga: gdy eksperyment jest już uruchomiony, możesz sprawdzić na karcie Parametry w Firebase konsoli, jaki jest odsetek pobrań w przypadku wariantów testowych w porównaniu z wartością domyślną.

W każdym projekcie możesz mieć maksymalnie 300 eksperymentów, z czego maksymalnie 24 mogą być aktywne, a pozostałe mogą być wersjami roboczymi lub ukończonymi eksperymentami.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelniania instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na urządzeniu testowym:

1. Uzyskaj token uwierzytelniania instalacji w ten sposób:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

   C++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });

   W przypadku weryfikacji urządzenia testowego interfejs C++ API nadal używa starszego tokena identyfikatora instancji zamiast tokena uwierzytelniania instalacji.

   Unity

   Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
       }
     });

2. Na pasku nawigacyjnym Firebase konsoli kliknij Testy A/B.
3. Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe , a potem kliknij Zarządzaj urządzeniami testowymi.
4. Wpisz token autoryzacji instalacji urządzenia testowego i wybierz wariant eksperymentu, który ma być wysłany na to urządzenie.
5. Uruchom aplikację i sprawdź, czy na urządzeniu testowym otrzymywana jest wybrana wersja.

Więcej informacji o Firebase instalacjach znajdziesz w artykule Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

Niezależnie od tego, czy utworzysz eksperyment za pomocą Remote Config, kompozytora powiadomień czyFirebase In-App Messaging, możesz go następnie zweryfikować i rozpocząć, monitorować go w trakcie działania oraz zwiększać liczbę użytkowników objętych eksperymentem.

Po zakończeniu eksperymentu możesz zanotować ustawienia używane przez zwycięski wariant, a następnie wdrożyć je u wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
2. Kliknij Wersja robocza, a następnie tytuł eksperymentu.
3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i w sekcji Kierowanie i dystrybucja sprawdź, czy liczba jest większa niż 0% (np. 1% użytkowników spełniających kryteria).
4. Aby zmienić eksperyment, kliknij Edytuj.
5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. W ramach jednego projektu możesz przeprowadzać jednocześnie maksymalnie 24 eksperymenty.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć wyniki uzyskane przez użytkowników, którzy wzięli w nim udział.

1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.

2. Kliknij Trwa, a potem kliknij tytuł eksperymentu lub go wyszukaj. Na tej stronie możesz wyświetlić różne odnotowane i modelowane statystyki dotyczące prowadzonego eksperymentu, w tym:

   • % różnicy wobec punktu odniesienia: miara poprawy wartości danego rodzaju danych w przypadku danego wariantu w porównaniu z wartością bazową. Obliczana przez porównanie zakresu wartości wariantu z zakresem wartości poziomu odniesienia.
   • Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż wartość podstawowa w przypadku wybranych danych.
   • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym z czasem znajdzie się wartość danych.
   • Łącznie observed_metric: zaobserwowana wartość skumulowana w przypadku wersji podstawowej lub wariantu. Wartość ta służy do pomiaru skuteczności każdego wariantu eksperymentu i do obliczania wzrostu, zakresu wartości, prawdopodobieństwa uzyskania lepszych wyników niż punkt odniesienia i prawdopodobieństwa uzyskania najlepszych wyników. W zależności od mierzonych danych ta kolumna może być oznaczona jako „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

3. Gdy eksperyment będzie trwać przez pewien czas (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskażą, który wariant jest „liderem” (jeśli w ogóle). Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formie wizualnej.

Wskazówka: możesz sortować według kolumny i filtrować eksperymenty z testami A/B według nazwy i stanu eksperymentu.

Wdrażanie eksperymentu u wszystkich użytkowników

Gdy eksperyment będzie trwać wystarczająco długo, aby można było wyłonić najlepszy wariant umożliwiający realizację Twojego celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie odtąd wyświetlany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił wyraźnego zwycięzcy, możesz udostępnić odmianę wszystkim użytkownikom.

1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
2. Kliknij Ukończono lub Trwa, a następnie kliknij eksperyment, który chcesz udostępnić wszystkim użytkownikom. Kliknij menu kontekstowe , a potem Wdróż wariant.

3. Wdróż eksperyment dla wszystkich użytkowników, wykonując jedną z tych czynności:

   • W przypadku eksperymentu, w którym używasz kompozytora powiadomień, użyj okna Wdrażanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
   • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametrów Remote Config mają zostać zaktualizowane. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby wdrożenie wpływało tylko na użytkowników objętych eksperymentem. Po kliknięciu Sprawdź w Remote Config, aby przejrzeć zmiany, kliknij Opublikuj zmiany, aby ukończyć wdrażanie.
   • W przypadku eksperymentu In-App Messaging użyj okna, aby określić, która wersja powinna zostać wdrożona jako samodzielna kampania In-App Messaging. Po wybraniu tej opcji nastąpi przekierowanie do ekranu tworzenia FIAM, na którym możesz wprowadzić zmiany (jeśli to konieczne) przed opublikowaniem.

Rozwijanie eksperymentu

Jeśli zauważysz, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testing można było wyłonić zwycięzcę, możesz zwiększyć jego zasięg, aby dotrzeć do większego odsetka użytkowników aplikacji.

1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
2. Wybierz trwający eksperyment, który chcesz edytować.
3. W sekcji Podsumowanie eksperymentu kliknij menu kontekstowe , a potem Edytuj trwający eksperyment.
4. W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż bieżący odsetek i kliknij Opublikuj. Eksperyment zostanie udostępniony wybranemu przez Ciebie odsetkowi użytkowników.

Duplikowanie i zatrzymywanie eksperymentu

1. W sekcji Zaangażowanie w menu nawigacyjnym Firebase konsoli kliknij A/B Testing.
2. Kliknij Zakończone lub Trwające, najedź wskaźnikiem myszy na eksperyment, kliknij menu kontekstowe , a następnie kliknij Zduplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Użytkowników, którzy mają być uwzględnieni w eksperymencie, możesz kierować na podstawie tych kryteriów kierowania na użytkowników.

Kryterium kierowania	Operatorzy	Wartości	Uwaga
Wersja	zawiera, nie zawiera, pasuje dokładnie, zawiera wyrażenie regularne	Wpisz wartość co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie.	Gdy używasz operatorów zawiera, nie zawiera lub dokładnie pasuje, możesz podać listę wartości rozdzielonych przecinkami. Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Odbiorcy	zawiera wszystkie, zawiera przynajmniej jeden, nie zawiera wszystkich, nie zawiera przynajmniej jednego	Wybierz co najmniej 1 Analyticsgrupę odbiorców, na którą chcesz kierować reklamy, aby docierać do użytkowników, którzy mogą być objęci eksperymentem.	Niektóre eksperymenty kierowane na odbiorców Google Analytics mogą wymagać kilku dni na zebranie danych, ponieważ podlegają Analytics opóźnieniu w przetwarzaniu danych. Najprawdopodobniej wystąpi to opóźnienie w przypadku nowych użytkowników, którzy zwykle są dodawani do kwalifikujących się list odbiorców w ciągu 24–48 godzin od utworzenia, lub w przypadku niedawno utworzonych list odbiorców. W przypadku Remote Config oznacza to, że nawet jeśli użytkownik technicznie kwalifikuje się do listy odbiorców, ale Analytics nie dodał go jeszcze do tej listy w momencie wykonania funkcji `fetchAndActivate()`, nie zostanie on uwzględniony w eksperymencie.
Właściwość użytkownika	W przypadku tekstu: zawiera, nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne W przypadku liczb: <, ≤, =, ≥, >	Analytics Właściwość użytkownika służy do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. Dostępny jest szereg opcji wyboru wartości właściwości użytkownika. Na kliencie możesz ustawiać tylko wartości ciągu znaków dla właściwości użytkownika. W przypadku warunków, które używają operatorów numerycznych, usługa Remote Config przekształca wartość odpowiedniej właściwości użytkownika w liczbę całkowitą lub zmiennoprzecinkową.	Gdy używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować początek, koniec lub całość docelowego ciągu znaków.
Kraj/region	Nie dotyczy	Co najmniej 1 kraj lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
Języki	Nie dotyczy	Co najmniej 1 język i region używane do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
Pierwsze uruchomienie	Przed Po	Kieruj na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację: Wybierz Nowi użytkownicy, aby kierować reklamy na użytkowników, którzy po raz pierwszy otworzą Twoją aplikację po określonej dacie i godzinie w przyszłości. Kliknij Zakres czasu, aby kierować reklamy na użytkowników, którzy po raz pierwszy otworzyli Twoją aplikację w zakresie przed lub po określonej przez Ciebie dacie i godzinie. Łącz warunki Przed i Po, aby kierować reklamy na użytkowników w określonym przedziale czasu.	Kierowanie na użytkowników według pierwszego otwarcia jest dostępne po wybraniu aplikacji na Androida lub iOS. Jest ono obecnie obsługiwane przez te wersje pakietu SDK: pakiet SDK na platformy Apple w wersji 9.0.0 lub nowszej oraz pakiet SDK na Androida w wersji 21.1.1 lub nowszej (Firebase BoM 30.3.0 lub nowszej).Remote Config Analytics musi być też włączony na urządzeniu klienta podczas zdarzenia polegającego na pierwszym uruchomieniu aplikacji.

A/B Testing wskaźnika

Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik lub cel, który służy do określania zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność poszczególnych wariantów eksperymentu i obserwować ważne trendy, które mogą się różnić w zależności od wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 rodzajów danych innych niż cele.

Załóżmy na przykład, że używasz Remote Config, aby uruchomić w aplikacji 2 różne ścieżki gry i chcesz optymalizować zakupy w aplikacji oraz przychody z reklam, ale jednocześnie chcesz śledzić stabilność i utrzymanie użytkowników w przypadku każdego wariantu. W takim przypadku możesz wybrać jako dane celu Szacunkowe łączne przychody, ponieważ obejmują one przychody z zakupów w aplikacji i z reklam. Następnie w sekcji Inne dane do śledzenia możesz dodać te dane:

• Aby śledzić dzienne i tygodniowe utrzymanie użytkowników, dodaj Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni).
• Aby porównać stabilność obu ścieżek gry, dodaj Użytkowników, u których nie wystąpiła awaria.
• Aby wyświetlić bardziej szczegółowe widoki każdego typu przychodów, dodaj Przychody z zakupów i Szacunkowe przychody z reklam.

Uwaga: zdarzenia Analytics tylko pojawiają się na listach danych, jeśli aplikacja je wywołała. Możesz jednak wpisać nazwę danych w polu Wybierz dane celu i kliknąć Utwórz zdarzenie, aby je dodać. Będą one używane, gdy aplikacja będzie w przyszłości wywoływać te zdarzenia.

W tabelach poniżej znajdziesz szczegółowe informacje o tym, jak obliczane są dane dotyczące celów i inne dane.

Dane celów

Dane	Opis
Użytkownicy, u których nie wystąpił błąd	Odsetek użytkowników, u których w aplikacji nie wystąpiły błędy wykryte przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam	Szacunkowe zarobki z reklam.
Szacunkowe łączne przychody	Łączna wartość zakupów i szacunkowych przychodów z reklam.
Przychody z zakupów	Łączna wartość wszystkich zdarzeń purchase i in_app_purchase.
Utrzymanie użytkowników (1 dzień)	Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Utrzymanie (2–3 dni)	Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni.
Utrzymanie (4–7 dni)	Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni.
Utrzymanie (8–14 dni)	Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej)	Liczba użytkowników, którzy wracają do aplikacji po co najmniej 15 dniach od ostatniego użycia.
first_open	To Analytics zdarzenie jest wywoływane, gdy użytkownik po raz pierwszy otwiera aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używane w ramach ścieżki konwersji.

Inne wskaźniki

Dane	Opis
notification_dismiss	Analytics Zdarzenie wywoływane, gdy powiadomienie wysłane przez kompozytor powiadomień zostanie odrzucone (tylko na Androidzie).
notification_receive	Analytics Zdarzenie wywoływane, gdy powiadomienie wysłane przez kompozytor powiadomień nadejdzie podczas działania aplikacji w tle (tylko na Androidzie).
os_update	Analytics zdarzenie, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji.Więcej informacji znajdziesz w artykule Automatycznie zbierane zdarzenia.
screen_view	Analytics Zdarzenie, które śledzi wyświetlenia ekranów w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu.
session_start	Analytics Zdarzenie, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w artykule Zdarzenia zbierane automatycznie.

Eksportowanie danych z BigQuery

Oprócz wyświetlania danych eksperymentu w konsoli A/B TestingFirebase możesz sprawdzać i analizować dane eksperymentu w BigQuery. A/B Testing nie ma osobnej tabeli, ale informacje o eksperymentach i wariantach są przechowywane w każdym zdarzeniu w tabelach zdarzeń Analytics.BigQueryGoogle Analytics

Właściwości użytkownika, które zawierają informacje o eksperymencie, mają postać userProperty.key like "firebase_exp_%" lub userProperty.key = "firebase_exp_01", gdzie 01 to identyfikator eksperymentu, a userProperty.value.string_value zawiera indeks (liczony od zera) wariantu eksperymentu.

Za pomocą tych właściwości użytkownika eksperymentu możesz wyodrębniać dane eksperymentu. Dzięki temu możesz analizować wyniki eksperymentu na wiele różnych sposobów i niezależnie weryfikować wyniki A/B Testing.

Aby rozpocząć, wykonaj te czynności zgodnie z opisem w tym przewodniku:

1. Włącz BigQuery eksportowanie Google Analytics w konsoli Firebase
2. Dostęp do danych A/B Testing za pomocą BigQuery
3. Przykładowe zapytania

Włączanie eksportowania BigQuery dla Google Analytics w konsoli Firebase

Jeśli korzystasz z abonamentu Spark, możesz używać BigQuerypiaskownicy, aby uzyskać dostęp do BigQuery bez żadnych opłat, z zastrzeżeniem limitów piaskownicy. Więcej informacji znajdziesz w sekcji Ceny i BigQuery sandbox.

Najpierw upewnij się, że eksportujesz dane Analytics do BigQuery:

1. Otwórz kartę Integracje, do której możesz przejść, klikając  > Ustawienia projektu w Firebase konsoli.
2. Jeśli korzystasz już z BigQuery w innych usługach Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
3. Zapoznaj się z informacjami w sekcji Informacje o łączeniu Firebase z BigQuery, a potem kliknij Dalej.
4. W sekcji Skonfiguruj integrację włącz przełącznik Google Analytics.

5. Wybierz region i ustawienia eksportu.

   Uwaga: więcej informacji o ustawieniach Google Analytics dla Firebase znajdziesz w artykule Zbieranie danych.

6. Kliknij Połącz z BigQuery.

W zależności od sposobu eksportowania danych udostępnienie tabel może potrwać do 1 dnia. Więcej informacji o eksportowaniu danych projektu do BigQuery znajdziesz w artykule Eksportowanie danych projektu do BigQuery.

Dostęp do danych A/B Testing w BigQuery

Zanim wyślesz zapytanie o dane dotyczące konkretnego eksperymentu, musisz uzyskać niektóre lub wszystkie z tych informacji, aby użyć ich w zapytaniu:

• Identyfikator eksperymentu: możesz go uzyskać z adresu URL strony Przegląd eksperymentu. Jeśli na przykład Twój adres URL wygląda tak:https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25.
• Google Analytics identyfikator usługi: to 9-cyfrowy Google Analytics identyfikator usługi. Znajdziesz go w sekcji Google Analytics. Pojawia się też w sekcji BigQuery, gdy rozwiniesz nazwę projektu, aby wyświetlić nazwę tabeli zdarzeń Google Analytics (project_name.analytics_000000000.events).
• Data eksperymentu: aby utworzyć szybsze i wydajniejsze zapytanie, warto ograniczyć zapytania do Google Analytics codziennych partycji tabeli zdarzeń, które zawierają dane eksperymentu – tabel oznaczonych sufiksem YYYYMMDD. Jeśli więc eksperyment był prowadzony od 2 lutego 2024 r. do 2 maja 2024 r., musisz podać _TABLE_SUFFIX between '20240202' AND '20240502'. Przykład znajdziesz w artykule Wybieranie wartości konkretnego eksperymentu.
• Nazwy zdarzeń: zwykle odpowiadają one danym celu skonfigurowanym w eksperymencie. Na przykład in_app_purchasewydarzeniaad_impression lub user_retentionwydarzenia.

Wskazówka: jeśli korzystasz z abonamentu Blaze, Firebase może wygenerować przykładowe zapytanie, aby wyodrębnić nazwę eksperymentu, wariant, nazwę zdarzenia i liczbę zdarzeń w wybranym eksperymencie. Więcej informacji znajdziesz w artykule Wykonywanie zapytań dotyczących danych eksperymentu za pomocą automatycznie wygenerowanego zapytania w konsoli Firebase

.

Po zebraniu informacji potrzebnych do wygenerowania zapytania:

1. Otwórz BigQuery w konsoli Google Cloud.
2. Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
3. Dodaj zapytanie. Przykładowe zapytania znajdziesz w artykule Przykładowe zapytania.
4. Kliknij Wykonaj.

Wskazówka: te kroki opisują używanie konsoli Google Cloud, ale do wysyłania zapytań do BigQuery możesz też używać interfejsu wiersza poleceń lub bibliotek klienta. Więcej informacji znajdziesz w BigQuery dokumentacji.

Tworzenie zapytań o dane eksperymentu za pomocą automatycznie generowanego zapytania w konsoli Firebase

Jeśli korzystasz z abonamentu Blaze, na stronie Przegląd eksperymentu znajdziesz przykładowe zapytanie, które zwraca nazwę eksperymentu, wersje, nazwy zdarzeń i liczbę zdarzeń w eksperymencie, który wyświetlasz.

Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:

1. W Firebase konsoli otwórz A/B Testing i wybierz eksperyment A/B Testing, o który chcesz wysłać zapytanie, aby otworzyć Przegląd eksperymentu.
2. W menu Opcje w sekcji Integracja z BigQuery wybierz Zapytanie o dane eksperymentu. Spowoduje to otwarcie projektu w BigQueryw konsoli Google Cloud i udostępnienie podstawowego zapytania, którego możesz użyć do wysyłania zapytań o dane eksperymentu.

Poniższy przykład pokazuje wygenerowane zapytanie dotyczące eksperymentu z 3 wariantami (w tym z elementem bazowym) o nazwie „Eksperyment powitalny na zimę”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, unikalne zdarzenie i liczbę zdarzeń dla każdego zdarzenia. Pamiętaj, że w nazwie tabeli w konstruktorze zapytań nie jest podana nazwa projektu, ponieważ konstruktor otwiera się bezpośrednio w projekcie.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Więcej przykładów zapytań znajdziesz w artykule Przykładowe zapytania.

Przykładowe zapytania

W sekcjach poniżej znajdziesz przykłady zapytań, których możesz używać do wyodrębniania danych eksperymentu z tabel zdarzeń Google Analytics.A/B Testing

Wyodrębnianie wartości odchylenia standardowego zakupu i eksperymentu ze wszystkich eksperymentów

Dane z wynikami eksperymentu możesz wykorzystać do niezależnego sprawdzenia Firebase A/B Testingwyników. Poniższe BigQueryinstrukcje SQLBigQuerywyodrębniają warianty eksperymentu, liczbę unikalnych użytkowników w każdym wariancie i sumują łączne przychodyBigQueryze zdarzeń in_app_purchase i ecommerce_purchase oraz odchylenia standardoweBigQuerywszystkich eksperymentów w zakresie czasu określonym jako daty rozpoczęcia i zakończenia _TABLE_SUFFIX. Dane uzyskane z tego zapytania możesz wykorzystać w generatorze istotności statystycznej dla testów t-Studenta jednostronnych, aby sprawdzić, czy wyniki podawane przez Firebase są zgodne z Twoją analizą.

Więcej informacji o tym, jak A/B Testing oblicza wnioskowanie, znajdziesz w sekcji Interpretowanie wyników testu.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wybieranie wartości konkretnego eksperymentu

Poniższy przykład zapytania pokazuje, jak uzyskać dane dotyczące konkretnego eksperymentu w BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wersji (w tym wersji podstawowej), nazwy zdarzeń i liczbę zdarzeń.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName