Informacje o wdrożeniach Zdalnej konfiguracji

W tym przewodniku znajdziesz informacje o kluczowych pojęciach związanych z wdrażaniem Remote Config, dzięki którym:

Informacje o członkostwie w grupie wdrażania

Gdy tworzysz nowe wdrażanie i przypisujesz mu wartość procentową, Firebase umieszcza w grupie kontrolnej taką samą część odbiorców, aby zapewnić dokładne wyniki podczas porównywania skuteczności włączonej funkcji. W ten sposób powstają te grupy:

  • Włączone: urządzenia użytkowników przypisane do tej grupy otrzymują wartość skonfigurowaną we wdrożeniu.
  • Grupa kontrolna: urządzenia użytkowników przypisane do tej grupy otrzymują wartość, którą otrzymałyby z Remote Config, a nie wartość wdrażania.
  • Nieprzypisane: urządzenia użytkowników w tej grupie otrzymują wartość, którą otrzymałyby z Remote Config, ale nie są używane w wynikach porównania wdrażania.

Oznacza to, że jeśli wdrożysz funkcję dla 2% użytkowników, zostaną oni dodani do grupy z włączoną funkcją, a kolejne 2% użytkowników zostanie dodane do grupy kontrolnej, która służy do porównania. 96% użytkowników pozostaje w grupie Nieprzypisani.

Takie podejście zapewnia rzetelne porównanie skuteczności użytkowników i urządzeń, które otrzymują wartość wdrożenia, z tymi, które jej nie otrzymują, i pozwala skutecznie określić sukces lub niepowodzenie wdrożenia na stronie Wyniki wdrożenia.

Przypisanie do grupy wdrażania jest spójne na wszystkich etapach wdrażania. Oznacza to, że jeśli w ramach tego samego wdrożenia zmniejszysz odsetek do 0%, wszyscy użytkownicy będą ponownie otrzymywać wartość parametru zdefiniowaną w szablonie Remote Config. Jeśli później zdecydujesz się zwiększyć odsetek wdrażania, użytkownicy, którzy należeli do poprzednich grup „Włączone” lub „Kontrolna”, powrócą do grupy, do której zostali pierwotnie przypisani, i będą otrzymywać wartości zgodne z tymi grupami.

Gdy potwierdzisz, że wersja działa prawidłowo, i zdecydujesz się na jej pełne wdrożenie dla 100% użytkowników docelowych, Firebase przestanie używać grupy kontrolnej i wszyscy użytkownicy docelowi oraz wszystkie urządzenia docelowe otrzymają wartość wdrożenia.

Kiedy używać wdrażania, a kiedy testu A/B?

Wdrażanie Remote Config i A/B Testing jest odpowiednie w nieco innych przypadkach użycia i może być stosowane w sposób uzupełniający.

Wdrożenia to stopniowe udostępnianie wersji, które często służy do udostępniania nowej funkcji wybranej grupie użytkowników. Możesz na przykład kierować reklamy na użytkowników w konkretnym kraju lub korzystających z określonej wersji aplikacji. Wykorzystaj wdrażanie, aby ograniczyć ryzyko i testować nowe funkcje w rzeczywistym środowisku przy zachowaniu ścisłej kontroli, co pozwoli Ci sprawdzić, jak działa dana funkcja. Możesz też sprawdzać, jak usługi backendu radzą sobie z dodatkowym obciążeniem związanym z nową funkcją, i szacować wykorzystanie, aby upewnić się, że zmiana jest skalowalna, zanim udostępnisz ją szerszemu gronu odbiorców.

Wdrożenia to doskonałe narzędzia w sytuacjach, gdy wprowadzasz nowe funkcje, które znacząco zmieniają funkcjonalność, zmiany, które mogą prowadzić do nieprzewidywalnych wyników, lub zmiany, które mogą mieć wpływ na infrastrukturę backendu, usługi lub zewnętrzne interfejsy API.

A/B Testing umożliwia prezentowanie wielu wersji funkcji lub elementu aplikacji, np. aktualizowanie wyglądu i funkcjonowania interfejsu, zmienianie tekstu reklamy czy aktualizowanie poziomu trudności gry. Następnie możesz wyświetlać użytkownikom różne warianty, aby dowiedzieć się, która opcja przynosi lepsze wyniki na podstawie wybranych danych (np. zaangażowania użytkowników, kliknięć reklam i przychodów).

Używaj A/B Testing do podejmowania decyzji opartych na danych, optymalizacji i poznawania preferencji użytkowników. To idealne rozwiązanie w sytuacjach, gdy masz kilka porównywalnych opcji i bardzo konkretne cele. Na przykład A/B Testing jest odpowiedni w przypadku zmian, które mają na celu ulepszenie aplikacji pod kątem konkretnych danych, np. testowania, które miejsce docelowe reklamy banera reklamowego przynosi więcej kliknięć.

Warto też połączyć wdrażanie Remote Config i A/B Testing w ramach ogólnej strategii: najpierw utwórz test A/B z ograniczonym zestawem użytkowników, aby określić wariant, który daje optymalne wyniki w przypadku kluczowych danych. Gdy A/B Testing określi lidera, utwórz wdrażanie ze zwycięskim wariantem. Monitoruj stabilność i kluczowe dane, stopniowo zwiększając liczbę użytkowników, którym udostępniasz aplikację. Gdy będziesz mieć pewność, że działa ona prawidłowo, udostępnij ją wszystkim użytkownikom.

Interpretowanie wyników wdrażania

Po opublikowaniu wdrożenia wyniki powinny być widoczne niemal natychmiast.

Wyniki możesz wyświetlać na kilka sposobów w konsoli Firebase:

  • Na stronie DevOps i zaangażowanie > Zdalna konfiguracja > Parametry rozwiń parametr skonfigurowany na potrzeby wdrażania i pod wdrażaniem kliknij Wyświetl wyniki.

  • Na stronie DevOps i zaangażowanie > Zdalna konfiguracja > Wdrażanie kliknij nazwę wdrożenia.

Selektor aplikacji u góry strony DevOps i zaangażowanie > Zdalna konfiguracja > Wyniki umożliwia wybór widoków dla konkretnych aplikacji. Wyniki są podzielone na kilka sekcji:

  • Sekcja Podsumowanie, która pokazuje skonfigurowany Odsetek wdrożenia i umożliwia wycofanie lub edytowanie wdrożenia. Po rozwinięciu wyświetla się Przegląd ze szczegółami konfiguracji wdrażania i Historia zmian.
  • Sekcja Użytkownicy, która pokazuje liczbę unikalnych instalacji aplikacji, które pobrały szablon wdrażania w tych grupach:

    • Włączone: liczba instancji aplikacji, które spełniają warunek docelowego wdrożenia i pobrały wartość wdrożenia.
    • Grupa kontrolna: liczba instancji aplikacji, które spełniają warunek docelowego wdrażania i pobrały niezmienioną wartość.
    • Wartość docelowa: szacunkowa łączna liczba instancji, które spełniają warunek ustawiony we wdrażaniu i powinny otrzymać wdrożenie lub niezmienioną wartość.

    Więcej informacji znajdziesz w artykule Informacje o członkostwie w grupie wdrażania.

  • Sekcje Crashlytics i Analytics, które zawierają dane porównawcze dotyczące grup eksperymentalnych i kontrolnych. Możesz filtrować zebrane dane według okresu: Ostatnie 24 godziny, Od ostatniej publikacji lub Ostatnie 7 dni. Widok domyślny to Ostatnie 24 godziny.

Crashlytics wynik dla wdrożeń

Możesz sprawdzić łączną liczbę awarii, błędów niekrytycznych i błędów ANR, które wystąpiły podczas wdrażania. Każda kategoria wyników zawiera wykres słupkowy, który porównuje nieprzetworzone sumy użytkowników z grup Włączone i Kontrolna, którzy spełnili warunek wdrożenia.

  • Awarie: pokazuje liczbę i odsetek awarii oraz liczbę unikalnych użytkowników, u których wystąpiły awarie, w grupach eksperymentalnej i kontrolnej.
  • Błędy niekrytyczne: pokazuje liczbę i odsetek błędów niekrytycznych oraz liczbę unikalnych użytkowników, u których wystąpiły błędy niekrytyczne.
  • Błędy ANR (tylko aplikacje na Androida): pokazuje liczbę i odsetek zdarzeń „Aplikacja nie odpowiada” oraz liczbę unikalnych użytkowników, u których wystąpiło co najmniej 1 takie zdarzenie.

Aby uzyskać bardziej szczegółowe informacje o awariach, kliknij Wyświetl więcej w Crashlytics. Otworzy się strona Crashlytics z aktywnym filtrem dla wdrożenia, którego wyniki były sprawdzane. Wyniki wdrażania na stronie Crashlytics obejmują wszystkich użytkowników, którzy kiedykolwiek widzieli dany wariant (Włączony lub Grupa kontrolna). Możesz wyświetlić awarie w grupie kontrolnej, awarie w grupie eksperymentalnej lub awarie w obu grupach.

Google Analytics wynik dla wdrożeń

Sekcja wyników wdrażania Google Analytics porównuje dane Analytics dla wszystkich użytkowników, którzy kiedykolwiek byli w grupie eksperymentalnej lub kontrolnej, w widoku szczegółowym i na wykresie. Dostępne są 3 rodzaje danych:

  • Łączne przychody: pokazuje łączną kwotę przychodów, w tym przychody z reklam i przychody z zakupów, w USD. Możesz filtrować wyniki, aby wyświetlać dane dotyczące przychodów z reklam lub przychodów z zakupów.
  • Łączna liczba konwersji: pokazuje nieprzetworzoną liczbę wszystkich zdarzeń konwersji. Możesz filtrować wyniki według konwersji, którą chcesz wyróżnić.
  • Łączny czas zaangażowania: pokazuje łączny czas zaangażowania użytkowników w jednym z wariantów wdrażania. Łączny czas zaangażowania jest wyświetlany w formacie godziny:minuty:sekundy. Na przykład: 01:31:28. Wykres przedstawia dane z okresu wybranego nad sekcją Crashlytics.

Dalsze kroki