W tym przewodniku znajdziesz informacje o kluczowych pojęciach związanych z Remote Configwdrażaniem, dzięki czemu:
- Dowiedz się, jak działa członkostwo w grupie wdrażania
- Dowiedz się, kiedy warto wdrożyć zmianę, a kiedy przeprowadzić test A/B.
- Dowiedz się, jak interpretować wyniki wdrażania
Informacje o członkostwie w grupie wdrażania
Gdy tworzysz nowe wdrożenie i przypisujesz do niego procent, Firebase umieszcza w grupie kontrolnej równą część odbiorców, aby uzyskać dokładne wyniki podczas porównywania skuteczności włączonej funkcji. W rezultacie powstają te grupy:
- Włączone: urządzenia użytkowników przypisane do tej grupy otrzymują wartość skonfigurowaną w ramach wdrożenia.
- Grupa kontrolna: urządzenia użytkowników przypisane do tej grupy otrzymują wartość, którą w innych okolicznościach otrzymałyby z Remote Config, a nie wartość wdrożenia.
- Nieprzypisane: urządzenia użytkowników w tej grupie otrzymują wartość, którą w innych okolicznościach otrzymałyby z Remote Config, ale nie są używane w wynikach porównania wdrożenia.
Oznacza to, że jeśli wdrożysz funkcję u 2% użytkowników, zostaną oni dodani do grupy Włączone, a kolejne 2% użytkowników zostanie dodanych do grupy Kontrolna, która służy do porównania. 96% użytkowników pozostaje w grupie Nieprzypisani.
Takie podejście zapewnia sprawiedliwe porównanie wyników użytkowników i urządzeń, które otrzymują wartość wdrożenia, z wynikami tych, które jej nie otrzymują. Pozwala to skutecznie określić, czy wdrożenie zakończyło się sukcesem, czy nie, na stronie Wyniki wdrożenia.
Przypisanie do grupy wdrożeniowej jest spójne we wszystkich fazach wdrożenia. Oznacza to, że w ramach tego samego wdrożenia, jeśli zmniejszysz odsetek do 0%, wszyscy użytkownicy wrócą do otrzymywania wartości parametru zdefiniowanej w Remote Configszablonie. Jeśli później zdecydujesz się zwiększyć odsetek wdrożenia, użytkownicy, którzy należeli do poprzednich grup Włączone lub Kontrolna, wrócą do grupy, do której zostali pierwotnie przypisani, i otrzymają wartości zgodne z tymi grupami.
Gdy potwierdzisz, że wdrożenie przebiegło pomyślnie, i zdecydujesz się wdrożyć je w pełni u 100% docelowych użytkowników, Firebase przestanie używać grupy kontrolnej i wszyscy docelowi użytkownicy i urządzenia otrzymają wartość wdrożenia.
Kiedy używać wdrażania, a kiedy testu A/B?
Remote Config i A/B Testing są odpowiednie do nieco innych zastosowań i mogą być używane w sposób uzupełniający.
Wdrażanie to stopniowe udostępnianie, które często jest stosowane w przypadku wprowadzania nowej funkcji wybranej grupie użytkowników. Możesz kierować reklamy na użytkowników w określonym kraju lub korzystających z określonej wersji aplikacji. Wdrażanie pozwala ograniczyć ryzyko i testować nowe funkcje w rzeczywistym środowisku przy ścisłej kontroli, dzięki czemu możesz sprawdzić, jak działa dana funkcja. Możesz też monitorować wydajność usług backendu przy dodatkowym obciążeniu związanym z nową funkcją i szacować wykorzystanie, aby przed udostępnieniem zmiany szerszemu gronu odbiorców upewnić się, że można ją skalować.
Wdrożenia są doskonałym narzędziem w sytuacjach, gdy wdrażasz nowe funkcje, które znacząco zmieniają działanie usługi, zmiany, które mogą prowadzić do nieprzewidywalnych wyników, lub zmiany, które mogą mieć wpływ na infrastrukturę backendu, usługi lub zewnętrzne interfejsy API.
A/B Testing umożliwia wyświetlanie wielu wersji funkcji lub elementu aplikacji, np. aktualizowanie wyglądu interfejsu, zmienianie tekstu reklamy lub aktualizowanie poziomu trudności w grze. Następnie możesz wyświetlać użytkownikom różne wersje, aby dowiedzieć się, która opcja przynosi lepsze wyniki na podstawie wybranych danych (np. zaangażowania użytkowników, kliknięć reklam i przychodów).
Używaj A/B Testing do podejmowania decyzji opartych na danych, optymalizacji i poznawania preferencji użytkowników. Jest to idealne rozwiązanie w sytuacjach, gdy masz kilka porównywalnych opcji i bardzo konkretne cele. Na przykład A/B Testing jest odpowiedni w przypadku zmian, w których chcesz zmodyfikować aplikację, aby poprawić konkretne dane, np. przetestować, które miejsce docelowe banera reklamowego generuje więcej kliknięć.
Warto też połączyć Remote ConfigwdrażanieA/B Testing w ramach ogólnej strategii: najpierw utwórz test A/B z ograniczoną liczbą użytkowników, aby określić wariant, który przynosi optymalne wyniki w przypadku kluczowych danych. Następnie, gdy A/B Testing określi lidera, utwórz wdrożenie z wygrywającą wersją. Monitoruj stabilność i kluczowe wskaźniki, stopniowo zwiększając liczbę użytkowników, którzy mają dostęp do tej funkcji. Gdy będziesz mieć pewność, że działa ona prawidłowo, udostępnij ją wszystkim użytkownikom.
Interpretowanie wyników wdrażania
Po opublikowaniu wdrożenia wyniki powinny być widoczne niemal natychmiast.
Wyniki możesz wyświetlać na kilka sposobów:
- Na stronie Parametry rozwiń parametr skonfigurowany na potrzeby wdrożenia, a następnie pod wdrożeniem kliknij Wyświetl wyniki.
- Na stronie Wdrażanie kliknij nazwę wdrożenia.
Selektor aplikacji u góry strony Wyniki umożliwia wybieranie widoków dla konkretnych aplikacji. Wyniki są podzielone na kilka sekcji:
- Sekcja Podsumowanie, w której wyświetla się skonfigurowany Odsetek wdrażania i można cofnąć lub edytować wdrożenie. Po rozwinięciu wyświetla omówienie szczegółów konfiguracji wdrożenia i historię zmian.
Sekcja Użytkownicy, która zawiera liczbę unikalnych instalacji aplikacji, które pobrały szablon wdrażania w tych grupach:
- Włączone: liczba instancji aplikacji, które spełniają warunek docelowego wdrożenia i pobrały wartość wdrożenia.
- Grupa kontrolna: liczba instancji aplikacji, które spełniają warunek docelowego wdrożenia i pobrały niezmienioną wartość.
- Cel: szacunkowa łączna liczba wystąpień, które pasują do warunku ustawionego w ramach wdrożenia i które powinny otrzymać wdrożoną wartość lub wartość niezmienioną.
Więcej informacji znajdziesz w artykule Sprawdzanie członkostwa w grupie wdrażania.
Sekcje Crashlytics i Analytics, które zawierają dane porównawcze dla grup włączonych i kontrolnych. Zebrane dane możesz filtrować według opcji Ostatnie 24 godziny, Od ostatniej publikacji lub Ostatnie 7 dni. Ostatnie 24 godziny to widok domyślny.
Crashlytics wyniki wdrożeń
Możesz sprawdzić łączną liczbę awarii, błędów niekrytycznych i błędów ANR, które wystąpiły podczas wdrażania. Każda kategoria wyników zawiera wykres słupkowy, który porównuje surowe sumy użytkowników w grupach Włączono i Kontrolna, którzy spełnili warunek wdrożenia.
- Awarie: wyświetla liczbę i odsetek awarii oraz liczbę unikalnych użytkowników, u których wystąpiły awarie w grupach „Włączona” i „Kontrolna”.
- Błędy niekrytyczne: podaje liczbę i odsetek błędów niekrytycznych oraz liczbę unikalnych użytkowników, u których wystąpiły błędy niekrytyczne.
- Błędy ANR (tylko aplikacje na Androida): pokazuje liczbę i odsetek zdarzeń „Aplikacja nie odpowiada” oraz liczbę unikalnych użytkowników, u których wystąpiło co najmniej 1 zdarzenie ANR.
Aby uzyskać więcej informacji o awariach, kliknij Wyświetl więcej wCrashlytics. Otworzy się strona Crashlytics z aktywnym filtrem dla wdrożenia, którego wyniki były sprawdzane. Wyniki wdrożenia na stronie Crashlytics obejmują wszystkich użytkowników, którzy kiedykolwiek mieli kontakt z odpowiednim wariantem, włączonym lub kontrolnym. Możesz wyświetlić awarie w grupie kontrolnej, w grupie z włączoną funkcją lub w obu tych grupach.
Google Analytics wyniki wdrożeń
W sekcji Google AnalyticsWyniki wdrożenia porównywane są Analyticsdane wszystkich użytkowników, którzy kiedykolwiek byli w grupach Włączona lub Kontrolna, w formie szczegółowej i na wykresach. Dostępne są 3 rodzaje danych:
- Łączne przychody: łączna kwota przychodów, w tym przychodów z reklam i przychodów z zakupów, w USD. Możesz filtrować wyniki, aby wyświetlać dane dotyczące przychodów z reklam lub przychodów z zakupów.
- Łączna liczba konwersji: wyświetla nieprzetworzoną sumę wszystkich zdarzeń konwersji. Wyniki możesz filtrować według konwersji, którą chcesz wyróżnić.
- Łączny czas zaangażowania: pokazuje łączny czas zaangażowania użytkowników w jedną z wersji wdrożenia. Łączny czas zaangażowania jest wyświetlany w formacie Godziny:Minuty:Sekundy. Na przykład 01:31:28. Wykres przedstawia dane z okresu wybranego powyżej sekcji Crashlytics.