Firebase A/B Testing

Firebase A/B Testing を使用すると、プロダクトとマーケティングのテストを実行、分析、スケーリングする方法を効率化して、アプリ エクスペリエンスを最適化するのに役立ちます。アプリの UI、機能、エンゲージメント キャンペーンの変更点をテストすることで、その変更点を広範囲にロールアウトする前に変更内容が主要な指標（収益や定着率など）に与える影響を確認できます。

A/B Testing はユーザーがさまざまなマーケティング メッセージをテストできるように FCM と連携し、またユーザーがアプリ内の変更をテストできるように Remote Config と連携します。


準備ができたらサービスを選択します。

Remote Config テストを作成する メッセージング テストを作成する

主な機能

製品の使用体験をテストして改善する Remote Config でテストを作成して、テストのバリアント間でアプリの動作や外観を変更し、最も重視する結果の獲得に最も高い効果を発揮するのはどの製品の使用体験であるかをテストします。
Notifications Composer を使用してユーザーに再度アプローチする方法を見つける A/B Testing を使用して、アプリへのユーザーの取り込みに最も効果的な言い回しやメッセージの設定を見つけることができます。
新機能を安全にロールアウトする 新機能をロールアウトするには、まず小規模のユーザーのサブセットで目標を満たすことを確認します。A/B Testing の結果で確証が得られたら、すべてのユーザーにその機能をロールアウトします。
ターゲット ユーザー グループ アプリユーザーに関するデータを使用して、対象を絞った A/B テストを実施します。たとえば、特定のアプリ バージョン、プラットフォーム、言語を実行しているユーザーのサブセットをターゲットに設定したり、Google Analytics のユーザー プロパティ値に一致するユーザーを選択したりできます。

仕組み

テストを作成する場合は、ユーザー エクスペリエンスの複数のバリアントを作成し、各バリアントが達成目標（アプリ内購入を増やすなど）をどの程度達成するかを評価します。ターゲットとするユーザー グループは、「AND」論理演算により結合された複数の条件により定義できます。たとえば、特定のアプリ バージョンのユーザーで、クライアントが設定したカスタムの Google Analytics ユーザー プロパティと一致する、「クラッシュが頻発するユーザー」などの Analytics オーディエンスに属するユーザーのみにグループを制限できます。

AB Testing では、Google アナリティクスを使用してユーザーのターゲットを設定し、Remote Config とメッセージング アクションのテストを行い、結果を測定します。

Remote Config を使用すると、複数のパラメータを変更してアプリの動作や外観を変更できます。これは、最適なカラーパターンやメニュー オプションの配置などの微妙な変更、またはまったく新しい機能や UI デザインのテストなどのより重要な変更に使用できます。Notifications Composer を使用すると、テストを実施して、通知メッセージに含める適切な言い回しを見つけることができます。

Remote Config と Notifications Composer のどちらをテストに使用する場合でも、目標達成度が最も高いバリアントであるリーダーが特定されるまでテストをモニタリングできます。テストはまず少数のユーザーで開始し、時間とともにテストに参加するユーザーの割合を増やすことができます。最初のテストでベースラインよりも目標達成度が高いバリアントが見つからなかった場合は、新しいテストラウンドを開始してアプリの最良の改善方法を見つけることができます。

目標に加えてその他の指標（アプリのクラッシュ、定着率、収益）を追跡することもできます。これにより、テストの結果をより深く理解でき、テストがアプリの使用体験にどの程度影響するかがわかります。

実装パス

アプリに Remote Config または Firebase Cloud Messaging を追加する アプリですでに Remote Config または Cloud Messaging（またはその両方）を使用している場合は、これを省略して次のステップに進むことができます。
A/B テストで評価するバリアントを定義する 変更が軽微であるか、新しい UI や機能を追加するような大きなものであるかを問わず、Remote Config を使用してその変更を制御できれば、その変更に関する複数のバリアントを A/B Testing でテストできます。

また、A/B Testing と Notifications Composer を組み合わせて使用することで、リエンゲージメント キャンペーンに関する複数のバリアントを、すべてのユーザーに公開する前にテストできます。
成功をどのように測定するかを定義する Notifications Composer を使用するテストでは、Analytics イベントを使用してテストの目標を定義し、テストのバリアントを比較できます。 Remote Config によるテストでは、Analytics イベントまたはコンバージョン プロセスを使用してテストの目標を定義できます。
テストをモニタリングして最良のバリアントを見つける まず少数のユーザーでテストを開始し、初期の結果が良好であればテストユーザーの数を増やすことができます。テストのモニタリングが進むにつれて、アプリのクラッシュ頻度が高いバリアントや、アプリのユーザー エクスペリエンスに対する影響度が高いバリアントがわかります。また、目標達成度が最も高いバリアントも明らかになります。

次のステップ