Tworzenie eksperymentów z komunikatem za pomocą Testów A/B

Gdy chcesz dotrzeć do użytkowników lub rozpocząć nową kampanię marketingową, musisz mieć pewność, że wszystko pójdzie zgodnie z planem. Testy A/B mogą Ci pomóc znaleźć optymalne brzmienie i prezentację, ponieważ pozwalają testować warianty wiadomości na wybranych grupach użytkowników. Niezależnie od tego, czy Twoim celem jest większa retencja czy konwersja po prezentacji oferty, test A/B może przeprowadzić analizę statystyczną, aby określić, czy wariant komunikatu działa lepiej niż wartość domyślna w przypadku wybranego celu.

Aby przeprowadzić test A/B wariantów funkcji z wartością odniesienia:

  1. Utwórz eksperyment.
  2. Sprawdź eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.

Utwórz eksperyment

Eksperyment, który korzysta z narzędzia do tworzenia powiadomień, umożliwia ocenę wielu wariantów w ramach jednego powiadomienia.

  1. Zaloguj się w konsoli Firebase i sprawdź, czy w Twoim projekcie jest włączona usługa Google Analytics, aby eksperyment miał dostęp do danych Analytics.

    Jeśli podczas tworzenia projektu nie włączysz usługi Google Analytics, możesz to zrobić na karcie Integracje, do której możesz przejść, klikając > Ustawienia projektu w Firebase konsoli.

  2. W sekcji Zaangażuj na pasku nawigacyjnym Firebase konsoli kliknij A/B Testing.

  3. Gdy pojawi się prośba o wybranie usługi, na której chcesz przeprowadzić eksperyment, kliknij Utwórz eksperyment, a potem wybierz Powiadomienia.

  4. Wpisz nazwę i opcjonalnie opis eksperymentu, a potem kliknij Dalej.

  5. Wypełnij pola Kierowanie, wybierając najpierw aplikację, która korzysta z eksperymentu. Możesz też kierować eksperyment na podzbiór użytkowników, wybierając opcje, takie jak:

    • Wersja: co najmniej 1 wersja aplikacji.
    • Lista odbiorców: Analytics listy odbiorców służące do kierowania reklam na użytkowników, którzy mogą brać udział w eksperymencie.
    • Właściwość użytkownika: co najmniej 1 właściwość użytkownika Analytics do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie.
    • Kraj/region: co najmniej 1 kraj lub region, w których chcesz wybrać użytkowników, którzy mogą wziąć udział w eksperymencie.
    • Język urządzenia: co najmniej 1 język i region, na podstawie których wybierani są użytkownicy, którzy mogą wziąć udział w eksperymencie.
    • Pierwsze uruchomienie: kieruj reklamy na użytkowników, którzy po raz pierwszy uruchomili Twoją aplikację.
    • Ostatnie zaangażowanie w aplikację:kieruj reklamy na użytkowników na podstawie tego, kiedy ostatni raz weszli oni w interakcję z Twoją aplikacją.

  6. Ustaw Odsetek użytkowników docelowych: wybierz odsetek użytkowników aplikacji, którzy spełniają kryteria określone w sekcji Użytkownicy docelowi, i których chcesz podzielić po równo między grupę podstawową a co najmniej 1 wariant w eksperymencie. Może ona wynosić dowolną wartość procentową z zakresu 0,01–100%. Odsetki są losowo przypisywane użytkownikom w ramach każdego eksperymentu, w tym w przypadku eksperymentów powielonych.

  7. W sekcji Warianty wpisz wiadomość, którą chcesz wysłać do grupy podstawowej, w polu Wpisz tekst wiadomości. Aby nie wysyłać wiadomości do grupy podstawowej, pozostaw to pole puste.

  8. (Opcjonalnie) Aby dodać do eksperymentu więcej niż 1 wariant, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 element bazowy i 1 wariant.

  9. (Opcjonalnie) Podaj nazwę dla każdego wariantu w eksperymencie, aby zastąpić nazwy Wariant A, Wariant B itd.

  10. Z listy rozwijanej wybierz dane docelowe eksperymentu, które mają być używane podczas oceny wariantów eksperymentu, oraz dowolne dodatkowe dane. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, retencja itp.), Analytics zdarzeń konwersji i innych zdarzeń Analytics.

  11. Wybierz opcje wiadomości:

    • Data dostawy: wybierz Wyślij teraz, aby rozpocząć eksperyment natychmiast po zapisaniu, lub Zaplanuj, aby określić czas rozpoczęcia eksperymentu w przyszłości.
    • Opcje zaawansowane: aby wybrać opcje zaawansowane dla wszystkich powiadomień uwzględnionych w eksperymencie, rozwiń Opcje zaawansowane, a następnie zmień dowolną z wymienionych opcji wiadomości.

  12. Aby zapisać eksperyment, kliknij Sprawdź.

Możesz utworzyć maksymalnie 300 eksperymentów na projekt, z których maksymalnie 24 może być aktywnych, a pozostałe mogą być w wersji roboczej lub ukończone.

Weryfikowanie eksperymentu na urządzeniu testowym

W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token rejestracji FCM. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na urządzeniu testowym:

  1. Aby uzyskać token rejestracji FCM, wykonaj te czynności:

    Swift

    Messaging.messaging().token { token, error in
  if let error = error {
    print("Error fetching FCM registration token: \(error)")
  } else if let token = token {
    print("FCM registration token: \(token)")
    self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
  }
}

    Objective-C

    [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
  if (error != nil) {
    NSLog(@"Error getting FCM registration token: %@", error);
  } else {
    NSLog(@"FCM registration token: %@", token);
    self.fcmRegTokenMessage.text = token;
  }
}];

    Java

    FirebaseMessaging.getInstance().getToken()
    .addOnCompleteListener(new OnCompleteListener<String>() {
        @Override
        public void onComplete(@NonNull Task<String> task) {
          if (!task.isSuccessful()) {
            Log.w(TAG, "Fetching FCM registration token failed", task.getException());
            return;
          }

          // Get new FCM registration token
          String token = task.getResult();

          // Log and toast
          String msg = getString(R.string.msg_token_fmt, token);
          Log.d(TAG, msg);
          Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
        }
    });

    Kotlin+KTX

    FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
    if (!task.isSuccessful) {
        Log.w(TAG, "Fetching FCM registration token failed", task.exception)
        return@OnCompleteListener
    }

    // Get new FCM registration token
    val token = task.result

    // Log and toast
    val msg = getString(R.string.msg_token_fmt, token)
    Log.d(TAG, msg)
    Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
})

    C++

    firebase::InitResult init_result;
auto* installations_object = firebase::installations::Installations::GetInstance(
    firebase::App::GetInstance(), &init_result);
installations_object->GetToken().OnCompletion(
    [](const firebase::Future<std::string>& future) {
      if (future.status() == kFutureStatusComplete &&
          future.error() == firebase::installations::kErrorNone) {
        printf("Installations Auth Token %s\n", future.result()->c_str());
      }
    });

    Unity

    Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
  task => {
    if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
      UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
    }
  });
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
  3. Kliknij Wersja robocza, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie kliknij Zarządzaj urządzeniami testowymi.
  4. Wpisz token FCM urządzenia testowego i wybierz wariant eksperymentu, który chcesz wysłać na to urządzenie.
  5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.

Zarządzanie eksperymentem

Niezależnie od tego, czy eksperyment został utworzony za pomocą Remote Config, w narzędzie do tworzenia powiadomień czy Firebase In-App Messaging, możesz go zweryfikować i rozpocząć, a także monitorować jego przebieg i zwiększać liczbę użytkowników, którzy biorą w nim udział.

Po zakończeniu eksperymentu możesz zapisać ustawienia używane przez najlepszy wariant, a potem wdrożyć je dla wszystkich użytkowników. Możesz też przeprowadzić inny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
  2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
  3. Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji próbnej i sprawdź, czy w sekcji Targetowanie i dystrybucja znajduje się liczba większa niż 0% (np. 1% użytkowników spełniających kryteria).
  4. Aby zmienić eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz przeprowadzać maksymalnie 24 eksperymenty na projekt jednocześnie.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego postępy i zobaczyć, jakie są wyniki w przypadku użytkowników, którzy do tej pory brali udział w eksperymencie.

  1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.

  2. Kliknij W trakcie, a potem kliknij lub wyszukaj tytuł eksperymentu. Na tej stronie możesz wyświetlić różne statystyki obserwowane i modelowane dotyczące trwającego eksperymentu, w tym:

    • % różnicy wobec punktu odniesienia: miara poprawy danej wartości w przypadku danego wariantu w porównaniu z wartością podstawową. Obliczany przez porównanie zakresu wartości wariantu z zakresem wartości wartości odniesienia.
    • Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż punkt odniesienia w przypadku wybranych danych.
    • observed_metric na użytkownika: na podstawie wyników eksperymentu jest to przewidywany zakres, w którym będzie się znajdować wartość danych w ciągu czasu.
    • Łącznie observed_metric: zaobserwowana wartość skumulowana dla wartości bazowej lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych wersji eksperymentu i obliczania poprawy, zakresu wartości, prawdopodobieństwo pokonania punktu odniesienia i prawdopodobieństwo bycia najlepszą wersją. W zależności od mierzonych danych ta kolumna może mieć etykietę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania” lub „Współczynnik konwersji”.

  3. Gdy eksperyment będzie trwał już jakiś czas (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskazują, który wariant (jeśli w ogóle jakiś jest) jest „liderem”. Niektóre pomiary są uzupełnione wykresem słupkowym, który przedstawia dane w formie wizualnej.

Wdrażanie eksperymentu dla wszystkich użytkowników

Gdy eksperyment będzie trwał wystarczająco długo, aby zidentyfikować „lidera” lub najlepszy wariant na podstawie danych związanych z realizacją celu, możesz wdrożyć eksperyment dla wszystkich użytkowników. Dzięki temu możesz wybrać wariant, który będzie publikowany wszystkim użytkownikom. Nawet jeśli eksperyment nie wyłonił odmiany wyraźnie lepszej, możesz nadal udostępnić wariant wszystkim użytkownikom.

  1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
  2. Kliknij Ukończono lub Trwa, wybierz eksperyment, który chcesz udostępnić wszystkim użytkownikom, kliknij menu kontekstowe () Wdróż wariant.

  3. Aby wdrożyć eksperyment dla wszystkich użytkowników, wykonaj jedną z tych czynności:

    • W przypadku eksperymentu, który korzysta z narzędzia do tworzenia powiadomień, użyj okna Wprowadzanie wiadomości, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
    • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które wartości parametru Remote Config chcesz zmienić. Kryteria kierowania zdefiniowane podczas tworzenia eksperymentu są dodawane jako nowy warunek w szablonie, aby wdrożenie obejmowało tylko użytkowników docelowych eksperymentu. Po kliknięciu Sprawdź w konfiguracji zdalnej, aby sprawdzić zmiany, kliknij Opublikuj zmiany, aby ukończyć wdrażanie.
    • W przypadku eksperymentu In-App Messaging użyj okna dialogowego, aby określić, która wersja musi zostać wdrożona jako samodzielna kampania In-App Messaging. Po wybraniu opcji nastąpi przekierowanie na ekran tworzenia FIAM, na którym można wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.

Rozwijanie eksperymentu

Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testingmogło wyłonić zwycięzcę, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
  2. Wybierz trwający eksperyment, który chcesz edytować.
  3. Na stronie Podsumowanie eksperymentu kliknij menu kontekstowe (), a potem Edytuj bieżący eksperyment.
  4. W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w eksperymencie. Wybierz liczbę większą niż obecny odsetek i kliknij Opublikuj. Eksperyment zostanie wdrożony wśród wskazanego przez Ciebie odsetka użytkowników.

Duplikat eksperymentu lub jego zatrzymanie

  1. W sekcji Zaangażuj w menu nawigacyjnym konsoli Firebase kliknij A/B Testing.
  2. Kliknij Ukończony lub Uruchomiony, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Użytkowników, których chcesz uwzględnić w eksperymencie, możesz kierować za pomocą tych kryteriów kierowania na użytkowników.

Kryterium kierowania Operatorzy Wartości Uwaga
Wersja zawiera,
nie zawiera,
pasuje dokładnie,
zawiera wyrażenie regularne		 Wpisz wartość dla co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie.

Gdy używasz operatorów zawiera, nie zawiera lub pasuje dokładnie, możesz podać listę wartości rozdzielanych przecinkami.

Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków. Możesz też użyć zakotwiczenia ^ i $, aby dopasować początek, koniec lub cały ciąg docelowy.
Odbiorcy zawiera wszystkie,
zawiera co najmniej jeden z,
nie zawiera wszystkich,
nie zawiera co najmniej jednego z		 Wybierz co najmniej 1 listę odbiorców Analytics, na którą chcesz kierować reklamy, aby docierać do użytkowników, którzy mogą być uwzględnieni w Twoim eksperymencie. Niektóre eksperymenty kierowane do odbiorców Google Analytics mogą wymagać kilku dni na gromadzenie danych, ponieważ są one uzależnione od Analyticsopóźnienia przetwarzania danych. Najprawdopodobniej opóźnienie to wystąpi w przypadku nowych użytkowników, którzy są zwykle dołączani do odpowiednich list odbiorców w ciągu 24–48 godzin od ich utworzenia, lub w przypadku niedawno utworzonych list odbiorców.
Właściwość użytkownika W przypadku tekstu:
contains,
does not contain,
exactly matches,
contains regex

W przypadku liczb:
<, ≤, =, ≥, > 		Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą być uwzględnieni w eksperymencie. Dostępne są różne opcje wyboru wartości tej właściwości.

Na kliencie możesz ustawiać tylko wartości ciągu znaków w przypadku właściwości użytkownika. W przypadku warunków, które używają operatorów liczbowych, usługa Remote Config zamienia wartość odpowiedniej właściwości użytkownika na liczbę całkowitą lub zmiennoprzecinkową.		 Korzystając z operatora contains regex, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków. Możesz też użyć zakotwiczenia ^ i $, aby dopasować początek, koniec lub cały ciąg docelowy.
Kraj/region Nie dotyczy Co najmniej 1 kraj lub region służący do wyboru użytkowników, którzy mogą zostać objęci eksperymentem.  
Języki Nie dotyczy Jeden lub więcej języków i regionów służących do wybierania użytkowników, którzy mogą wziąć udział w eksperymencie.  
Pierwsze uruchomienie Więcej niż
Mniej niż
Pomiędzy 		Kieruj na użytkowników na podstawie tego, że po raz pierwszy otworzyli Twoją aplikację (okres w dniach).
Ostatnia interakcja z aplikacją Więcej niż
Mniej niż
Pomiędzy 		Kieruj na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją (określone w dniach).

A/B Testing wskaźnika

Podczas tworzenia eksperymentu wybierasz podstawowy wskaźnik, czyli cel, który służy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej poznać skuteczność poszczególnych wariantów eksperymentu, a także ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 danych innych niż cele.

Załóżmy na przykład, że dodasz do swojej aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych komunikatów zachęcających. W takim przypadku możesz ustawić jako dane docelowe Przychód z zakupów, ponieważ chcesz, aby wariant zwycięski reprezentował powiadomienie, które przyniosło najwyższy przychód z zakupów w aplikacji. Ponieważ chcesz też śledzić, który wariant spowodował więcej przyszłych konwersji i utrzymał więcej użytkowników, możesz w sekcji Inne dane do śledzenia dodać te dane:

  • Szacunkowe łączne przychody, aby sprawdzić, jak łączne przychody z zakupów w aplikacji i z reklam różnią się między 2 wariantami.
  • Utrzymanie (1 dzień), Utrzymanie (2–3 dni) i Utrzymanie (4–7 dni), aby śledzić dzienne/tygodniowe utrzymanie użytkowników.

W tabeli poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych dotyczących celów i innych danych.

Dane celów

Dane Opis
Użytkownicy, u których nie wystąpił błąd Odsetek użytkowników, którzy nie napotkali w Twojej aplikacji błędów wykrytych przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam.
Szacunkowe łączne przychody Łączna wartość zakupu i szacowanych przychodów z reklam.
Przychody z zakupów Łączna wartość wszystkich zdarzeń purchase i in_app_purchase.
Utrzymanie użytkowników (1 dzień) Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji.
Utrzymanie (2–3 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni.
Utrzymanie (4–7 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni.
Utrzymanie (8–14 dni) Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej) Liczba użytkowników, którzy wrócili do aplikacji po co najmniej 15 dniach od ostatniego jej użycia.
first_open Zdarzenie Analytics, które uruchamia się, gdy użytkownik po raz pierwszy otworzy aplikację po jej zainstalowaniu lub ponownym zainstalowaniu. Używana w ramach ścieżki konwersji.

Inne dane

Dane Opis
notification_dismiss Analytics zdarzenie, które uruchamia się, gdy użytkownik odrzuca powiadomienie wysłane przez edytor powiadomień (tylko na Androidzie).
notification_receive Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez edytor powiadomień zostanie odebrane, gdy aplikacja działa w tle (tylko na Androidzie).
os_update Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest aktualizowany do nowej wersji. Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie.
screen_view Zdarzenie Analytics, które śledzi wyświetlenia ekranów w aplikacji. Więcej informacji znajdziesz w sekcji Śledzenie wyświetleń ekranu.
session_start Zdarzenie Analytics, które zlicza sesje użytkowników w aplikacji. Więcej informacji znajdziesz w sekcji Zdarzenia zbierane automatycznie.

Eksportowanie danych z BigQuery

Oprócz wyświetlania danych eksperymentu A/B Testing w konsoli Firebase możesz je też sprawdzać i analizować w BigQuery. Chociaż tabela A/B Testing nie ma osobnej tabeli BigQuery, przynależność do eksperymentu i wariantu jest przechowywana w każdym zdarzeniu Google Analytics w tabelach zdarzeń Analytics.

Właściwości użytkownika zawierające informacje o eksperymencie mają postać userProperty.key like "firebase_exp_%" lub userProperty.key = "firebase_exp_01", gdzie 01 to identyfikator eksperymentu, a userProperty.value.string_value zawiera indeks (liczony od 0) wariantu eksperymentu.

Możesz używać tych właściwości użytkownika w eksperymencie do wyodrębniania danych eksperymentu. Dzięki temu możesz dzielić wyniki eksperymentu na wiele różnych sposobów i niezależnie weryfikować wyniki A/B Testing.

Aby rozpocząć, wykonaj te czynności zgodnie z opisem w tym przewodniku:

  1. Włącz eksport BigQuery do Google Analytics w konsoli Firebase
  2. Dostęp do danych A/B Testing za pomocą BigQuery
  3. Przykładowe zapytania

Włączanie eksportowania danych BigQuery do Google Analytics w konsoli Firebase

Jeśli korzystasz z abonamentu Spark, możesz używać piaskownicy BigQuery do uzyskiwania dostępu do BigQuery bezpłatnie, z zastosowaniem limitów piaskownicy. Więcej informacji znajdziesz w cenniku i piaskownicy BigQuery.

Najpierw sprawdź, czy dane Analytics są eksportowane do BigQuery:

  1. Otwórz kartę Integracje, do której możesz przejść, klikając > Ustawienia projektu w konsoli Firebase.
  2. Jeśli używasz już BigQuery w innych usługach Firebase, kliknij Zarządzaj. W przeciwnym razie kliknij Połącz.
  3. Zapoznaj się z informacjami na temat łączenia Firebase z BigQuery, a potem kliknij Dalej.
  4. W sekcji Skonfiguruj integrację włącz przełącznik Google Analytics.

  5. Wybierz region i ustawienia eksportu.

  6. Kliknij Połącz z BigQuery.

W zależności od tego, jak chcesz wyeksportować dane, może minąć nawet dzień, zanim tabele staną się dostępne. Więcej informacji o eksportowaniu danych projektu do pliku BigQuery znajdziesz w artykule Eksportowanie danych projektu do pliku BigQuery.

Dostęp do danych A/B Testing w usłudze BigQuery

Zanim wykonasz zapytanie o dane dotyczące konkretnego eksperymentu, musisz uzyskać część lub wszystkie te informacje, aby użyć ich w zapytaniu:

  • Identyfikator eksperymentu: możesz go znaleźć w adresie URL strony Przegląd eksperymentu. Jeśli np. adres URL wygląda tak: https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, identyfikator eksperymentu to 25.
  • Identyfikator usługi Google Analytics: 9-cyfrowy identyfikator usługi Google Analytics. Znajdziesz go w sekcji Google Analytics. Pojawia się też w sekcji BigQuery, gdy rozwiniesz nazwę projektu, aby wyświetlić nazwę tabeli zdarzeń Google Analytics (project_name.analytics_000000000.events).
  • Data eksperymentu: aby tworzyć szybsze i skuteczniejsze zapytania, warto ograniczyć je do Google Analytics codziennie partycji tabeli zdarzeń, które zawierają dane eksperymentu – tabeli z sufiksem YYYYMMDD. Jeśli więc eksperyment trwał od 2 lutego do 2 maja 2024 r., musisz podać wartość _TABLE_SUFFIX between '20240202' AND '20240502'. Przykład: Wybieranie wartości konkretnego eksperymentu.
  • Nazwy zdarzeń: zwykle odpowiadają one danym celu skonfigurowanym w eksperymencie. Na przykład in_app_purchase zdarzenia, ad_impression lub user_retention zdarzenia.

Gdy już zbierzesz informacje potrzebne do wygenerowania zapytania:

  1. W konsoli Google Cloud otwórz BigQuery.
  2. Wybierz projekt, a następnie kliknij Utwórz zapytanie SQL.
  3. Dodaj zapytanie. Przykładowe zapytania do uruchomienia znajdziesz w sekcji Przykładowe zapytania.
  4. Kliknij Wykonaj.
.

Wykonywanie zapytań o dane eksperymentu za pomocą zapytania automatycznie wygenerowanego przez konsolę Firebase

Jeśli korzystasz z abonamentu Blaze, na stronie Przegląd eksperymentu znajdziesz przykładowe zapytanie, które zwraca nazwę eksperymentu, jego warianty, nazwy zdarzeń i liczbę zdarzeń w eksperymencie, który wyświetlasz.

Aby uzyskać i uruchomić automatycznie wygenerowane zapytanie:

  1. W konsoli Firebase otwórz A/B Testing i wybierz eksperyment A/B Testing, którego dotyczy zapytanie, aby otworzyć Przegląd eksperymentu.
  2. W menu Opcje w sekcji integracji BigQuery kliknij Wysyłanie zapytań do danych eksperymentu. Spowoduje to otwarcie projektu BigQuery w konsoli Google Cloud i wyświetlenie podstawowego zapytania, którego możesz użyć do uzyskania danych eksperymentu.

Ten przykład pokazuje wygenerowane zapytanie dotyczące eksperymentu z 3 wariantami (w tym z elementem bazowym) o nazwie „Eksperyment z zimowym powitaniem”. Zwraca nazwę aktywnego eksperymentu, nazwę wariantu, niepowtarzalne zdarzenie i liczbę zdarzeń. Pamiętaj, że kreator zapytań nie podaje nazwy projektu w nazwie tabeli, ponieważ otwiera się bezpośrednio w projekcie.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Więcej przykładów zapytań znajdziesz w artykule Przykładowe zapytania.

Przykładowe zapytania

W następnych sekcjach znajdziesz przykłady zapytań, które możesz wykorzystać do wyodrębniania danych eksperymentu A/B Testing z tabel zdarzeń Google Analytics.

Wyodrębnianie wartości odchylenia standardowego zakupów i eksperymentów ze wszystkich eksperymentów

Dane z eksperymentu możesz wykorzystać do samodzielnego sprawdzania wyników Firebase A/B Testing. Ten instrukcja SQL BigQuery wyodrębnia warianty eksperymentu, liczbę unikalnych użytkowników w każdym z nich oraz sumuje łączne przychody z zdarzeń in_app_purchase i ecommerce_purchase oraz odchylenia standardowe dla wszystkich eksperymentów w zakresie dat określonym jako początek i koniec _TABLE_SUFFIX. Dane uzyskane z tego zapytania możesz wykorzystać w generatorze istotności statystycznej w przypadku testów t-Studenta w jednym kierunku, aby sprawdzić, czy wyniki podawane przez Firebase są zgodne z Twoją analizą.

Więcej informacji o tym, jak A/B Testing oblicza wnioskowanie, znajdziesz w artykule Interpretowanie wyników testów.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Wybieranie wartości konkretnego eksperymentu

Ten przykładowy zapytanie pokazuje, jak uzyskać dane dotyczące konkretnego eksperymentu w BigQuery. To przykładowe zapytanie zwraca nazwę eksperymentu, nazwy wariantów (w tym podstawowego), nazwy zdarzeń i liczby zdarzeń.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName