Tworzenie eksperymentów Zdalnej konfiguracji Firebase z Testami A/B

Gdy za pomocą aplikacji Firebase Remote Config wdrożysz ustawienia dla: z aktywną bazą użytkowników, upewnij się, tak, dobrze. Możesz skorzystać z A/B Testing eksperymentów, aby jak najlepiej określić te kwestie:

• Najlepszy sposób na wdrożenie funkcji, która zwiększy wygodę użytkowników. Zbyt często deweloperzy aplikacji nie dowiadują się, że ich użytkownicy nie lubią nowej funkcji lub zaktualizowanego konta; dopóki ocena aplikacji w sklepie z aplikacjami nie spadnie. Testy A/B może pomóc w pomiarze użytkownikom podobają się nowe warianty funkcji, preferować aplikację w takiej postaci, w jakiej istnieje. Ponadto dzięki temu, że większość użytkowników dzięki której większość użytkowników może nadal korzystać aplikacji bez żadnych zmian w działaniu ani wyglądzie do czasu eksperyment się zakończył.
• Najlepszy sposób na optymalizację wrażeń użytkownika pod kątem celów biznesowych. Czasami wprowadzasz zmiany w usłudze, aby zmaksymalizować dane takie jak przychodów lub utrzymywania użytkowników. Za pomocą testów A/B ustalasz cel biznesowy. Firebase przeprowadza analizę statystyczną, aby określić, czy wariant w porównaniu do wartości bazowej dla wybranego celu.

.

Uwaga: aktualizacje Remote Config w czasie rzeczywistym nie są obsługiwane w przypadku testów A/B testowych wartości parametrów. Zalecamy użycie metody Pobierz i aktywuj wczytywanie w Remote Config eksperymentach.

Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:

1. Utwórz eksperyment.
2. Zweryfikuj eksperyment na urządzeniu testowym.
3. Zarządzaj eksperymentem.

.

Ważne: upewnij się, że masz minimalną wersję pakietu SDK A/B Testing: Usługi Google Play w wersji 11.4.2 na Androida i pakiet SDK Firebase dla platform Apple 4.5.0.

Utwórz eksperyment

Eksperyment Remote Config umożliwia ocenę wielu wariantów pod kątem jednej lub więcej parametrów funkcji Remote Config.

1. Zaloguj się w Konsola Firebase i sprawdź, czy w projekcie włączono Google Analytics. eksperyment ma dostęp do danych Analytics.

   Jeśli podczas tworzenia projektu nie włączono usługi Google Analytics, można ją włączyć na Integracje do której masz dostęp za pomocą > Ustawienia projektu w Firebase konsoli.

2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing

3. Kliknij Utwórz eksperyment, a potem wybierz Remote Config, gdy pojawi się prośba o podanie usługi, z którą chcesz poeksperymentować.

4. Wpisz nazwę i opcjonalnie opis eksperymentu, a następnie kliknij Dalej.

5. Wypełnij pola Kierowanie, wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz też kierować reklamy na podzbiór użytkowników eksperyment, klikając i, a następnie wybierając opcje ta lista:

   • Wersja: co najmniej 1 wersja aplikacji.
   • Numer kompilacji: kod wersji aplikacji.
   • Języki: co najmniej jeden język i region używany do wyboru użytkowników. którzy mogą być objęci eksperymentem
   • Kraj/region: co najmniej 1 kraj lub region do wyboru użytkowników. kogo należy uwzględnić w eksperymencie
   • Odbiorcy użytkowników: Analytics grup odbiorców używanych do kierowania reklam na użytkowników, którzy mogą zostać uwzględnione w eksperymencie
   • Właściwość użytkownika: co najmniej 1 właściwość użytkownika w usłudze Analytics dla wybieranie użytkowników, którzy mogą zostać uwzględnieni w eksperymencie

   • Pierwsze uruchomienie: kierowanie na użytkowników według pierwszego uruchomienia aplikacji. Twoja aplikacja

     Kierowanie na użytkowników według czasu pierwszego otwarcia jest dostępne, gdy wybierzesz W aplikacji na Androida lub iOS. Jest ona obsługiwana przez te wersje pakietu SDK Remote Config: Apple platform SDK w wersji 9.0.0 lub nowszej oraz Android SDK w wersji 21.1.1 lub nowszej (Firebase BoM w wersji 30.3.0 lub nowszej).

     Usługa Analytics musi być również włączona na kliencie w trakcie pierwszego otwórz wydarzenie.

   .
   Uwaga: ze względu na Google Analytics opóźnienie przetwarzania danych, eksperymenty kierowane na odbiorców Analytics mogą potrzebować więcej czasu zbierania danych. Aby dowiedzieć się więcej o tej i innych opcjach kierowania, Więcej informacji znajdziesz w sekcji Kierowanie na użytkowników.

6. Ustaw Odsetek użytkowników docelowych: użytkowników spełniających kryteria ustawione w sekcji Kieruj reklamy na użytkowników, podziel po równo między wersję bazową a co najmniej jednym wariantem w eksperymentu. Może to być dowolna wartość procentowa między 0,01% a 100%. Użytkownicy losowo przypisanych do poszczególnych eksperymentów, w tym eksperymentów zduplikowanych.

7. Opcjonalnie skonfiguruj zdarzenie aktywacji, aby mieć pewność, że tylko dane użytkowników którzy jako pierwsze wywołali jakieś Analytics zdarzenie, są liczeni eksperymentu. Pamiętaj, że wszyscy użytkownicy pasujący do parametrów kierowania otrzymają tylko te wartości eksperymentalne (Remote Config), ale tylko te, które wywołują zdarzenie aktywacji zostanie uwzględnione w wynikach eksperymentu.

   Aby eksperyment był prawidłowy, upewnij się, że wybrane zdarzenie ma miejsce. po aktywowaniu pobranych wartości konfiguracyjnych przez aplikację. Dodatkowo nie można użyć następujących zdarzeń, ponieważ zawsze występują przed pobraniem aktywowano następujące wartości:

   • app_install
   • app_remove
   • app_update
   • dynamic_link_first_open

8. W przypadku: Cele, wybierz główne do śledzenia. Dodaj też inne dane, które chcesz śledzić, z listy. Obejmują one wbudowane cele (zakupy, przychody, utrzymanie użytkowników, użytkowników, u których nie wystąpiła awaria itp.), Analytics zdarzenia konwersji i inne Wydarzenia: Analytics. Gdy skończysz, kliknij Dalej.

9. W sekcji Warianty wybierz wartość bazową i co najmniej 1 dla danego eksperymentu. Użyj listy Wybierz lub utwórz nową, aby ją dodać. lub większą liczbę parametrów do wykorzystania w eksperymencie. Możesz utworzyć parametr, który ma nie były wcześniej używane w konsoli Firebase, ale muszą istnieć w aby przyniosło to jakiś efekt. Możesz powtórzyć ten krok, aby dodać kilka do wybranych parametrów.

10. (Opcjonalnie) Aby dodać do eksperymentu więcej niż jeden wariant, kliknij Dodaj jeszcze jedną wersję.

11. Zmień co najmniej 1 parametr w określonych wersjach. Wszystkie niezmienione są takie same w przypadku użytkowników, którzy nie zostali uwzględnieni w eksperymencie.

12. Rozwiń Wagi wariantu, aby wyświetlić lub zmienić wagę wariantu dla: eksperymentu. Domyślnie każdy wariant ma taką samą wagę. Pamiętaj, że nierówne mogą zwiększyć czas zbierania danych i nie można ich zmienić po jego rozpoczęciu.

13. Kliknij Sprawdź, aby zapisać eksperyment.

.

Uwaga: po uruchomieniu eksperymentu możesz sprawdzić Karta Parametry konsoli Firebase do monitorowania pobierania dla wariantów testowych w porównaniu z wartością domyślną.

możesz utworzyć maksymalnie 300 eksperymentów na projekt. który może się składać z maksymalnie 24 aktywnych eksperymentów (reszta jest w wersji roboczej lub zakończonej).

Weryfikowanie eksperymentu na urządzeniu testowym

Dla każdej instalacji Firebase możesz pobrać token uwierzytelniania instalacji i powiązane z nią. Za pomocą tego tokena możesz testować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na na urządzeniu testowym, wykonaj te czynności:

1. Pobierz token uwierzytelniania instalacji w ten sposób:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }
   

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];
   

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin+KTX

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

   C++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });
   

   Do weryfikacji urządzenia testowego interfejs API C++ wciąż używa starszej wersji identyfikatora instancji zamiast tokena uwierzytelniania instalacji.

   Unity

   Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
       }
     });
   

2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
3. Kliknij Wersja robocza (lub Uruchomiono w przypadku opcji Zdalne) Eksperymenty konfiguracji), najedź kursorem na eksperyment i kliknij menu kontekstowe (), a następnie kliknij Zarządzanie urządzeniami testowymi
4. Wpisz token uwierzytelniania instalacji urządzenia testowego i wybierz wariant eksperymentu, który ma zostać wysłany na urządzenie testowe.
5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany urządzenia testowego.

Więcej informacji o instalacjach Firebase znajdziesz tutaj Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

czy utworzysz eksperyment przy użyciu dodatku Remote Config, edytora powiadomień lub Firebase In-App Messaging, można sprawdzić i rozpocząć eksperyment, monitorować eksperymentu oraz zwiększyć liczbę użytkowników trwającego eksperymentu.

Po zakończeniu eksperymentu możesz zapoznać się z ustawieniami użytymi przez i wdrażać te ustawienia u wszystkich użytkowników. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
3. Aby sprawdzić, czy aplikacja ma użytkowników, którzy są uwzględnieni w eksperymentu, rozwinąć szczegóły wersji roboczej i sprawdzić, więcej niż 0% w sekcji Kierowanie i dystrybucja. (np. 1% użytkowników spełniających kryteria).
4. Aby zmienić eksperyment, kliknij Edytuj.
5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz wyświetlać reklamy maksymalnie przez 24 minuty eksperymentów na projekt.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego stan swoje postępy i zobaczyć, jak będą wyglądać wyniki dla użytkowników, którzy uczestniczyli w kampanii do tej pory w eksperymencie.

1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing

2. Kliknij Bieganie i kliknij lub wyszukaj tytuł swojej eksperymentu. Na tej stronie możesz zobaczyć różne zaobserwowane i modelowane modele, statystyki trwającego eksperymentu, w tym:

   • % różnicy w stosunku do punktu odniesienia – miara poprawy wskaźnika. dla danego wariantu w porównaniu z wartością bazową. Obliczane przez porównanie zakres wartości wariantu do zakresu wartości odniesienia.
   • Prawdopodobieństwo przekroczenia wartości podstawowej: szacunkowe prawdopodobieństwo, że dany wariant ma lepsze wyniki niż punkt odniesienia dla wybranego wskaźnika.
   • observed_metric na użytkownika: na podstawie wyników eksperymentu to przewidywany zakres, w którym wartość danych się znajdzie obecnie się znajdujesz.
   • Łącznie observed_metric: zaobserwowana skumulowana wartość dla lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych elementów. eksperymentu i służy do obliczania wartości Poprawa, Zakres wartości, Prawdopodobieństwo przekroczenia wartości podstawowej i Prawdopodobieństwo który będzie najlepszą odmianą. W zależności od mierzonych danych ten wskaźnik może mieć etykietę „Czas trwania na użytkownika”, „przychody na użytkownika”, „Wskaźnik utrzymania”, lub „Współczynnik konwersji”.

3. Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku modelu FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskazuje, który wariant jest „najlepszy”. Niektóre pomiary są wraz z wykresem słupkowym, który przedstawia dane w formacie wizualnym.

.

Wskazówka: eksperymenty Testów A/B możesz sortować według kolumny i filtrować według nazwy oraz o stanie eksperymentu.

Wdrożenie eksperymentu dla wszystkich użytkowników

Gdy eksperyment minie dostatecznie długo, że uzyskasz tytuł „lidera”, lub wygrana wariantu, dla danych celu możesz udostępnić eksperyment wszystkim użytkownikom. Dzięki temu możesz wybrać wariant, który będzie od tej pory publikowany wszystkim użytkownikom. Równomierny jeśli eksperyment nie wyłoni zwycięzcy, można mimo to podjąć decyzję udostępnić wariant wszystkim użytkownikom.

1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
2. Kliknij Ukończony lub Aktywny i wybierz eksperyment, który chcesz uruchomić. udostępnić wszystkim użytkownikom, kliknij menu kontekstowe () Wdróż wariant.

3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:

   • W przypadku eksperymentu korzystającego z edytora powiadomień użyj metody Wdróż treść wiadomości w oknie, aby wysłać wiadomość do pozostałej grupy docelowej którzy nie uczestniczyli w eksperymencie.
   • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, która Remote Config wartości parametru do zaktualizowania. Zdefiniowane kryteria kierowania podczas tworzenia eksperymentu jest dodawany jako nowy warunek w szablon, aby mieć pewność, że wdrożenie dotyczy tylko użytkowników, eksperymentu. Kliknij Sprawdź w Zdalnej konfiguracji, aby sprawdzić zmian, kliknij Opublikuj zmiany, aby zakończyć wdrażanie.
   • W przypadku eksperymentu In-App Messaging możesz w oknie określić, który wariant należy wdrożyć jako samodzielną kampanię In-App Messaging. Po wybraniu nastąpi przekierowanie na ekran tworzenia wiadomości FIAM, gdzie będzie można zmian (w razie potrzeby) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie pozyskał wystarczającej liczby użytkowników w okresie A/B Testing Zwycięzcę można wskazać, zwiększając zasięg eksperymentu, dla większego odsetka użytkowników aplikacji.

1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
2. Wybierz aktywny eksperyment, który chcesz edytować.
3. W omówieniu eksperymentu kliknij menu kontekstowe (), a potem Kliknij Edytuj aktywny eksperyment.
4. W oknie Kierowanie widoczna jest opcja zwiększenia odsetka użytkowników biorących udział w prowadzonym eksperymencie. Wybierz liczbę większą niż obecna wartość procentowa, i kliknij Opublikuj. Eksperyment zostanie i przekazywane do określonego odsetka użytkowników.

Duplikowanie lub przerywanie eksperymentu

1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
2. Kliknij Ukończony lub W toku i najedź kursorem na eksperyment. kliknij menu kontekstowe () i a potem kliknij Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, którzy mają zostać eksperymentu z zastosowaniem poniższych kryteriów kierowania na użytkowników.

Kryterium kierowania	Operatory	Wartości	Uwaga
Wersja	zawiera, nie zawiera, jest dokładnie dopasowane, zawiera wyrażenie regularne	Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymentu.	jeśli używasz filtrów zawiera, nie zawiera ani pasuje dokładnie, możesz podać listę rozdzielonych przecinkami . Gdy używasz operatora zawiera wyrażenie regularne, możesz utworzyć zwykłe wyrażenia w RE2. . Wyrażenie regularne może pasować do całości lub części wersji docelowej ciągu znaków. Możesz też użyć kotwic ^ i $, aby dopasować początku, końca lub całości docelowego ciągu znaków.
Odbiorcy	obejmuje wszystkie z, obejmują co najmniej jedną z, nie obejmuje wszystkich z, nie zawiera co najmniej jednego z	Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być uwzględnionych w eksperymencie.	Niektóre eksperymenty kierowane na Google Analytics odbiorców mogą wymagać kilka dni na zebranie danych, ponieważ podlegają one Analytics opóźnienia przetwarzania danych. Takie opóźnienia najczęściej występują w przypadku nowych użytkowników, którzy zwykle są rejestrowane na kwalifikujących się odbiorców w ciągu 24–48 godzin od utworzenia; w przypadku niedawno utworzonych list odbiorców. W przypadku Remote Config oznacza to, że nawet jeśli użytkownik technicznie kwalifikuje się do korzystania grupę odbiorców, jeśli użytkownik Analytics nie dodał go jeszcze do listy odbiorców, Metoda „fetchAndActivate()” jest wykonywana, użytkownik nie zostanie uwzględniony w eksperymentu.
Właściwość użytkownika	W przypadku tekstu: zawiera, nie zawiera, ściśle pasuje do, zawiera wyrażenie regularne W przypadku numerów: <, ≤, =, ≥, >	Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnione eksperymentu z szeregiem opcji wyboru właściwości użytkownika . Na kliencie można ustawić tylko wartości ciągu znaków dla użytkownika usług. W przypadku warunków z operatorami liczbowymi usługa Remote Config konwertuje wartość odpowiednich właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.	Gdy używasz operatora zawiera wyrażenie regularne, możesz utworzyć zwykłe wyrażenia w RE2. . Wyrażenie regularne może pasować do całości lub części wersji docelowej ciągu znaków. Możesz też użyć kotwic ^ i $, aby dopasować początku, końca lub całości docelowego ciągu znaków.
Kraj/region	Nie dotyczy	Co najmniej jeden kraj lub region służący do wyboru użytkowników, którzy mogą zostać uwzględnieni biorących udział w eksperymencie.
Języki	Nie dotyczy	Co najmniej jeden język lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnione. biorących udział w eksperymencie.
Pierwsze uruchomienie	Przed Po	Kieruj reklamy na użytkowników z uwzględnieniem tego, kiedy po raz pierwszy otwierają Twoją aplikację: Wybierz Nowi użytkownicy, aby kierować reklamy na użytkowników, którzy otworzyli reklamy po raz pierwszy. aplikacji po określonej dacie i godzinie w przyszłości. Wybierz Zakres czasowy, aby kierować reklamy na użytkowników, którzy po raz pierwszy otworzyli Twoją mieści się w zakresie przed lub po podanej dacie i godzinie. Połącz Warunki przed i po do kierowania użytkowników w wybranym przedziale czasu.	Kierowanie na użytkowników według pierwszego uruchomienia jest dostępne po wybraniu Androida lub iOS . Obecnie jest obsługiwana przez ten pakiet SDK Remote Config wersje: SDK platformy Apple 9.0.0 i nowsze oraz Android SDK w wersji 21.1.1 i nowszych (Firebase BoM w wersji 30.3.0 lub nowszej). Analytics musi też zawierać została włączona na kliencie podczas zdarzenia pierwszego otwarcia.

A/B Testing wskaźnika

Tworząc eksperyment, wybierasz dane podstawowe, czyli cele, które są posłużymy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, pomaga lepiej poznać skuteczność poszczególnych wariantów i śledzić ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilności i przychodów z zakupów w aplikacji. Możesz śledzić maksymalnie 5 takich działań danych w eksperymencie.

Załóżmy na przykład, że używasz gry Remote Config do uruchamiania 2 różnych gier w Twojej aplikacji i chcesz ją zoptymalizować pod kątem zakupów w aplikacji oraz przychodów z reklam, ale chcesz też śledzić stabilność i utrzymanie użytkowników każdego wariantu. W takim przypadku możesz wybrać Szacunkowe łączne przychody jako celu, ponieważ obejmuje przychody z zakupów w aplikacji i przychody z reklam. Następnie w sekcji Inne dane do śledzenia możesz dodać:

• Aby śledzić dzienny i tygodniowy wskaźnik utrzymania użytkowników, dodaj Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni).
• Aby porównać stabilność między 2 procesami gry, dodaj Użytkownicy, u których nie wystąpiła awaria.
• Aby zobaczyć bardziej szczegółowe widoki każdego rodzaju przychodów, dodaj Przychody z zakupów i Szacunkowe przychody z reklam.

.

Uwaga: zdarzenia Analytics pojawiają się na listach danych tylko wtedy, gdy aplikacja wywołała . Nazwę danych możesz jednak wpisać w polu Wybierz dane celu. i kliknij Utwórz zdarzenie, aby je dodać. Zostanie ono użyte, gdy Twoja aplikacja będzie wywoływać te zdarzenia w przyszłości.

Poniższe tabele zawierają szczegółowe informacje o tym, jak dane celów i inne dane są obliczonych.

Dane celów

Dane	Opis
Użytkownicy, u których nie wystąpił błąd	Odsetek użytkowników, którzy nie napotkali błędów w aplikacji, zostały wykryte przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam	Szacunkowe zarobki z reklam
Szacunkowe łączne przychody	Łączna wartość z zakupów i szacunkowe przychody z reklam.
Przychody z zakupów	Połączona wartość dla wszystkich purchase i Wydarzenia: in_app_purchase.
Utrzymanie użytkowników (1 dzień)	Liczba użytkowników, którzy wracają do Twojej aplikacji każdego dnia.
Utrzymanie użytkowników (2–3 dni)	Liczba użytkowników, którzy wrócili do aplikacji w ciągu 2–3 dni.
Utrzymanie użytkowników (4–7 dni)	Liczba użytkowników, którzy wrócili do aplikacji w ciągu 4–7 dni.
Utrzymanie użytkowników (8–14 dni)	Liczba użytkowników, którzy wrócili do aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej)	Liczba użytkowników, którzy wrócili do aplikacji co najmniej 15 dni po tym, jako ostatni.
first_open	Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otworzy aplikację instalując ją lub instalując ponownie. Używany jako część ścieżki konwersji.

Inne dane

Dane	Opis
notification_dismiss	Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez użytkownika kreator powiadomień zostanie zamknięty (tylko Android).
notification_receive	Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez użytkownika twórca powiadomień jest odbierany, gdy aplikacja działa w tle (tylko Android).
os_update	Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest zaktualizowany do nowej wersji.Aby dowiedzieć się więcej, zobacz Automatyczne zarejestrowanych zdarzeń.
screen_view	Zdarzenie Analytics, które śledzi ekrany wyświetlone w aplikacji. Aby się uczyć więcej, patrz Śledzenie Wyświetlenia ekranu.
session_start	Zdarzenie Analytics, które zlicza sesje użytkownika w Twojej aplikacji. Aby dowiedzieć się więcej, Więcej informacji: Automatycznie. zarejestrowanych zdarzeń.

Eksportowanie danych do BigQuery

Oprócz wyświetlania danych eksperymentu A/B Testing w Firebase, możesz przeglądać i analizować dane eksperymentu w BigQuery Chociaż A/B Testing nie ma oddzielnego tagu Tabela BigQuery, członkostwo w eksperymentach i wariantach jest przechowywane w każdym Google Analytics w tabelach zdarzeń Analytics.

Właściwości użytkownika, które zawierają informacje o eksperymencie, mają postać userProperty.key like "firebase_exp_%" lub userProperty.key = "firebase_exp_01", gdzie 01 to identyfikator eksperymentu, userProperty.value.string_value zawiera indeks (liczony od zera) funkcji wariantu eksperymentu.

Możesz skorzystać z tych właściwości użytkownika w eksperymencie, aby wyodrębnić dane eksperymentu. Dzięki temu można podzielić wyniki eksperymentu na wiele różnych i w niezależny sposób weryfikować wyniki funkcji A/B Testing.

Aby rozpocząć, wykonaj następujące czynności zgodnie z opisem w tym przewodniku:

1. Włącz w Firebase eksport danych BigQuery dla Google Analytics konsola
2. Dostęp do danych z aplikacji A/B Testing za pomocą: BigQuery
3. Przykładowe zapytania

Włącz w konsoli Firebase eksport danych BigQuery dla Google Analytics

Jeśli masz abonament Spark, możesz użyć BigQuery piaskownicy do dostęp do usługi BigQuery bezpłatnie, zgodnie z Limity piaskownicy. Zobacz Ceny i piaskownica BigQuery .

Najpierw upewnij się, że eksportujesz dane z usługi Analytics do BigQuery:

1. Otwórz aplikację Integracje, do którego masz dostęp za pomocą usługi > Ustawienia projektu w konsoli Firebase.
2. Jeśli używasz już BigQuery z innymi usługami Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
3. Przeczytaj artykuł Łączenie Firebase z usługą BigQuery i kliknij Dalej.
4. W sekcji Skonfiguruj integrację włącz Przełącznik Google Analytics.

5. Wybierz region i ustawienia eksportu.

   Uwaga: więcej informacji o Google Analytics dla Ustawienia usługi Firebase, patrz Zbieranie danych.

6. Kliknij Połącz z: BigQuery.

W zależności od wybranego sposobu eksportowania danych może minąć nawet 1 dzień, dostępne tabele. Więcej informacji o eksportowaniu danych projektu do BigQuery, zobacz Wyeksportuj dane projektu do usługi BigQuery.

Dostęp do danych A/B Testing w: BigQuery

Przed wysłaniem zapytania o dane dot. konkretnego eksperymentu warto uzyskać pewne lub wszystkie z nich, które mają być użyte w zapytaniu:

• Identyfikator eksperymentu: możesz go znaleźć w adresie URL Strona Przegląd eksperymentu. Jeśli na przykład adres URL wygląda tak: https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25.
• Identyfikator usługi Google Analytics: to Twój 9-cyfrowy identyfikator usługi. Identyfikator usługi Google Analytics. Znajdziesz to w: Google Analytics; pojawi się też w BigQuery, gdy rozwiniesz nazwa Twojego projektu, która ma wyświetlać nazwę zdarzenia Google Analytics tabela (project_name.analytics_000000000.events).
• Data eksperymentu: aby szybciej i efektywniej utworzyć zapytanie, należy sprawdzoną metodę ograniczania liczby zapytań do Google Analytics dziennie partycje tabel zdarzeń, które zawierają dane eksperymentu – tabele ma sufiks YYYYMMDD. Jeśli więc eksperyment trwał od W okresie od 2 lutego do 2 maja 2024 r. musisz określić: _TABLE_SUFFIX between '20240202' AND '20240502'. Na przykład zobacz Wybierz wartości określonego eksperymentu.
• Nazwy zdarzeń: zwykle odpowiadają dane celów skonfigurowany w eksperymencie. Na przykład: in_app_purchase zdarzeń, ad_impression lub user_retention.

.

Wskazówka: jeśli masz abonament Blaze, Firebase może wygenerować przykładowe zapytanie, aby wyodrębnić nazwę eksperymentu, jego wariant, nazwę zdarzenia i liczbę zdarzeń w przypadku wybranego eksperymentu. Więcej informacji: Zapytanie o dane eksperymentu za pomocą zapytania wygenerowanego automatycznie w konsoli Firebase

Po zgromadzeniu informacji potrzebnych do wygenerowania zapytania:

1. Otwórz BigQuery w konsoli Google Cloud.
2. Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
3. Dodaj zapytanie. Przykładowe zapytania do uruchomienia: Przykładowe zapytania
4. Kliknij Wykonaj.

.

Wskazówka: chociaż w tych krokach opisano korzystanie z konsoli Google Cloud, użyj interfejsu wiersza poleceń lub bibliotek klienta do wysyłania zapytań dotyczących BigQuery. Dowiedz się więcej w dokumentacja BigQuery.

Zapytanie o dane eksperymentu za pomocą zapytania wygenerowanego automatycznie w konsoli Firebase

Jeśli korzystasz z abonamentu Blaze, na stronie Omówienie eksperymentu znajdziesz przykładowe zapytanie, które zwraca nazwę eksperymentu, warianty, nazwy zdarzeń oraz liczbę zdarzeń w prowadzonym eksperymencie.

Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:

1. Otwórz konsolę Firebase A/B Testing. i wybierz eksperyment A/B Testing, którego ma dotyczyć zapytanie, aby otworzyć Omówienie eksperymentu.
2. W menu Opcje pod integracją z BigQuery wybierz Zapytanie o dane eksperymentu. Spowoduje to otwarcie projektu w aplikacji BigQuery w konsoli Google Cloud i udostępnia podstawowe zapytanie, do wysyłania zapytań dotyczących danych eksperymentu.

Przykład poniżej pokazuje wygenerowane zapytanie dotyczące eksperymentu z: 3 warianty (w tym element bazowy) o nazwie „Zimowy eksperyment powitalny”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, unikalne zdarzenie i dla każdego zdarzenia. Pamiętaj, że konstruktor zapytań nie określa nazwę projektu w nazwie tabeli, ponieważ otwiera się ona bezpośrednio w projekcie.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Więcej przykładów zapytań znajdziesz na Przykładowe zapytania

Przykładowe zapytania

W poniższych sekcjach znajdziesz przykłady zapytań, których możesz użyć do wyodrębnienia Dane eksperymentu (A/B Testing) z Google Analytics tabeli zdarzeń.

Wyodrębnij wartości odchyleń standardowych zakupu i eksperymentu ze wszystkich eksperymentów

Dzięki danym z wyników eksperymentu możesz niezależnie weryfikować Wyniki: Firebase A/B Testing. Poniższa instrukcja SQL BigQuery eksperyment wyodrębniania liczby wariantów, liczbę unikalnych użytkowników w każdym wariancie i łączne przychody od zdarzeń in_app_purchase i ecommerce_purchase oraz odchyleń standardowych dla wszystkich eksperymentów w zakresie czasowym określonym jako początek _TABLE_SUFFIX i daty zakończenia. Danych uzyskanych dzięki temu zapytaniu możesz użyć za pomocą generatora istotności statystycznej dla jednostronnych testów t, aby sprawdzić, czy wyniki dostarczane przez Firebase pasują do Twoich własnych analiz.

Więcej informacji o tym, jak A/B Testing oblicza wnioskowanie, znajdziesz tutaj: Zinterpretuj wyniki testu.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wybierz wartości z konkretnego eksperymentu

Przykład poniżej pokazuje, jak uzyskać dane o konkretnej wartości eksperyment w grupie BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wariantów (w tym punkt odniesienia), nazwy zdarzeń i liczbę zdarzeń.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName