이 가이드에서는 원격 구성 출시와 관련된 주요 개념에 대한 정보를 제공하여 다음을 수행할 수 있도록 합니다.
그룹 멤버십 출시 이해하기
새 출시를 만들고 비율을 할당하면 Firebase에서 사용 설정된 기능의 성능을 비교할 때 정확한 결과를 얻기 위해 동일한 크기의 잠재고객 부분을 통제 그룹에 배치하고, 그 결과 다음과 같은 그룹이 생성됩니다.
- 사용 설정됨: 이 그룹에 할당된 사용자 기기가 출시에 구성된 값을 수신합니다.
- 통제: 이 그룹에 할당된 사용자 기기는 출시 값이 아닌 원격 구성에서 수신했을 값을 수신합니다.
- 할당되지 않음: 이 그룹의 사용자 기기는 원격 구성에서 수신했을 값을 수신하지만 출시 비교 결과에는 사용되지 않습니다.
즉, 2% 의 사용자에게 출시하면 해당 사용자는 사용 설정된 그룹에 추가되고 나머지 2% 는 비교를 위해 사용되는 통제 그룹에 추가됩니다. 사용자 중 96% 가 할당되지 않음 상태로 남아 있습니다.
이 접근 방식을 사용하면 출시 값을 수신하는 사용자와 기기의 성능을 공정하게 비교할 수 있으며, 이를 통해 출시 결과 페이지에서 출시의 성공 또는 실패를 효과적으로 판단할 수 있습니다.
출시 그룹 할당은 출시의 모든 단계에서 일관됩니다. 즉, 동일한 출시 내에서 비율을 0%로 낮추면 모든 사용자가 원격 구성 템플릿에 정의된 매개변수 값을 다시 수신하게 됩니다. 나중에 출시 비율을 높이기로 결정한 경우 이전에 사용 설정된 그룹 또는 통제 그룹에 속한 사용자는 원래 할당된 그룹으로 돌아가 해당 그룹과 일치하는 값을 받게 됩니다.
출시가 성공했음을 확인하고 타겟팅된 사용자 100% 를 대상으로 정식 출시하기로 결정하면 Firebase는 더 이상 통제 그룹을 사용하지 않으며 타겟팅된 모든 사용자와 기기에 출시 값이 제공됩니다.
출시와 A/B 테스트 비교
원격 구성 출시 및 A/B 테스팅은 약간 다른 사용 사례에 적합하며 상호 보완적인 방식으로 사용할 수 있습니다.
출시는 점진적인 출시이며 종종 선별된 사용자 그룹을 대상으로 새 기능을 출시하는 데 사용됩니다. 특정 국가의 사용자를 타겟팅하거나 특정 버전의 앱을 사용하고 싶을 수 있습니다. 출시 기능을 사용하여 위험을 완화하고 실제 환경에서 철저하게 제어된 새로운 기능을 테스트하여 기능의 성능을 확인할 수 있습니다. 또한 새로운 기능의 부하가 추가되었을 때 백엔드 서비스의 성능과 대략적인 사용량을 모니터링하여 더 광범위한 잠재고객에게 출시하기 전에 변경사항을 확장할 수 있습니다.
출시는 기능을 크게 변경하는 새 기능, 예기치 않은 결과를 초래할 수 있는 변경사항 또는 백엔드 인프라, 서비스 또는 외부 API에 영향을 줄 수 있는 변경사항을 구현하는 경우에 유용한 도구입니다.
A/B 테스팅을 사용하면 UI 디자인 업데이트, 광고 문구 변경, 게임 수준 난이도 업데이트 등 여러 버전의 기능 또는 앱 요소를 제공할 수 있습니다. 그런 다음 사용자에게 다양한 대안을 노출하여 선택한 측정항목 (예: 사용자 참여도, 광고 클릭, 수익)을 기반으로 어떤 옵션이 더 나은 결과를 제공하는지 알아볼 수 있습니다.
A/B 테스팅을 사용하여 데이터 기반 의사 결정, 최적화, 사용자 선호도 파악 비교 가능한 여러 옵션이 있고 매우 구체적인 목표가 있는 경우에 적합합니다. 예를 들어 A/B 테스팅은 어떤 배너 광고 게재위치에서 더 많은 클릭이 발생하는지 테스트하는 등 특정 측정항목을 개선하기 위해 앱을 조정하려는 경우에 적합합니다.
중요한 전략 내에서 원격 구성 출시와 A/B 테스팅을 결합하는 것도 좋은 방법입니다. 먼저 제한된 사용자 집합으로 A/B 테스트를 만들어 주요 측정항목에 대해 최적의 결과를 생성하는 대안을 결정합니다. 그런 다음 A/B 테스팅에서 리더가 결정되면 우수한 대안으로 출시를 만듭니다. 노출된 사용자 수를 점진적으로 늘리고 성능이 확신되면 100%로 출시하면서 안정성과 주요 측정항목을 모니터링합니다.
출시 결과 이해하기
출시를 게시하면 거의 즉시 결과가 표시되기 시작합니다.
다음과 같은 여러 방법으로 결과를 볼 수 있습니다.
- 매개변수 페이지에서 출시를 위해 구성한 매개변수를 펼치고 출시 아래에서 결과 보기를 클릭합니다.
- 출시 페이지에서 출시 이름을 클릭합니다.
결과 페이지 상단의 앱 선택기를 사용하면 특정 앱의 뷰를 선택할 수 있습니다. 결과는 다음과 같이 여러 섹션으로 구분됩니다.
- 요약 섹션: 구성된 출시 비율을 표시하고 출시를 롤백하거나 수정할 수 있습니다. 펼치면 출시 구성 세부정보의 개요 및 변경 내역이 표시됩니다.
사용자 섹션: 다음 그룹에서 출시 템플릿을 가져온 순 앱 설치 수가 표시됩니다.
- 사용 설정됨: 목표 출시 조건과 일치하고 출시 값을 가져온 앱 인스턴스의 수입니다.
- 통제: 타겟 출시 조건과 일치하고 변경되지 않은 값을 가져온 앱 인스턴스의 수
- 대상: 출시에 설정한 조건과 일치하는 예상 총 인스턴스 수로, 출시 또는 변경되지 않은 값을 받아야 합니다.
출시 그룹 멤버십 이해에서 자세히 알아보세요.
사용 설정된 그룹과 통제 그룹의 비교 데이터를 보여주는 Crashlytics 및 애널리틱스 섹션 지난 24시간, 마지막 게시 이후 또는 지난 7일 동안 수집된 데이터를 필터링할 수 있습니다. 지난 24시간이 기본 뷰입니다.
출시에 대한 Crashlytics 결과
출시 중에 발생한 비정상 종료, 심각하지 않은 문제, ANR의 총 개수를 확인할 수 있습니다. 각 결과 카테고리에는 출시 조건을 충족한 사용 설정됨 및 대조군 사용자의 원시 총계를 비교하는 막대 그래프가 표시됩니다.
- 비정상 종료: 사용 설정된 그룹과 통제 그룹의 비정상 종료 횟수와 비율, 비정상 종료를 경험한 순 사용자 수를 표시합니다.
- 심각하지 않은 오류: 심각하지 않은 오류의 수와 비율, 심각하지 않은 오류를 경험한 순 사용자 수를 표시합니다.
- ANR (Android 앱만 해당): '애플리케이션 응답 없음' 이벤트의 수와 비율, ANR 이벤트를 하나 이상 경험한 순 사용자 수를 표시합니다.
비정상 종료에 대한 자세한 내용을 보려면 Crashlytics에서 더보기를 클릭하세요. 그러면 검사 중인 출시의 활성 필터가 있는 Crashlytics 페이지가 열립니다. Crashlytics 페이지의 출시 결과는 각 변형(Enabled 또는 Control)에 노출된 적이 있는 모든 사용자를 측정합니다. 컨트롤 그룹 비정상 종료, 사용 설정된 그룹 비정상 종료 또는 둘 다를 표시하도록 선택할 수 있습니다.
출시에 대한 Google 애널리틱스 결과
Google 애널리틱스 출시 결과 섹션에서는 사용 설정된 그룹 또는 통제 그룹에 노출된 모든 사용자의 애널리틱스 측정항목을 그래프 보기에서 자세히 비교합니다. 세 가지 측정항목이 제공됩니다.
- 총수익: 광고 수익 및 구매 수익을 포함한 총수익 금액을 미국 달러로 표시합니다. 결과를 필터링하여 특히 광고 수익 또는 구매 수익에 대한 결과를 표시할 수 있습니다.
- 총 전환수: 모든 전환 이벤트 합계의 원시 데이터를 표시합니다. 강조하려는 변환을 기준으로 결과를 필터링할 수 있습니다.
- 총 참여 시간: 사용자가 출시 변형 중 하나에서 소비한 총 참여 시간을 표시합니다. 총 참여 시간은 시간:분:초 형식으로 표시됩니다. 예: 01:31:28 그래프에는 Crashlytics 섹션 위에서 선택한 기간의 데이터가 표시됩니다.