Firebase Summit で発表されたすべての情報をご覧ください。Firebase を使用してアプリ開発を加速し、自信を持ってアプリを実行する方法を紹介しています。詳細

Firebase A/Bテスト

GoogleOptimizeを搭載したFirebaseA/ B Testingは、製品やマーケティングの実験の実行、分析、スケーリングを簡単にすることで、アプリのエクスペリエンスを最適化するのに役立ちます。これにより、アプリのUI、機能、またはエンゲージメントキャンペーンへの変更をテストして、それらを広く展開する前に、それらが実際に主要な指標(収益や保持など)に針を動かしているかどうかを確認できます。

A / BテストはFCMと連携してさまざまなマーケティングメッセージをテストでき、RemoteConfigと連携してアプリ内の変更をテストできます。

リモート構成実験の作成メッセージング実験の作成

主な機能

製品エクスペリエンスをテストして改善するRemote Configを使用して実験を作成し、実験のバリエーション全体でアプリの動作と外観を変更し、最も関心のある結果を生み出すのに最も効果的な製品エクスペリエンスをテストします。
通知コンポーザーを使用してユーザーを再エンゲージする方法を見つけるA / Bテストを使用して、ユーザーをアプリに取り込むための最も効果的な表現とメッセージの設定を見つけます。
新機能を安全に展開最初に少数のユーザーで目標を達成していることを確認せずに、新機能を展開しないでください。 A / Bテストの結果に自信がついたら、この機能をすべてのユーザーに公開します。
GoogleAnalyticsデータでユーザーグループをターゲットにするGoogle Analyticsデータを使用して、ターゲットとするクライアントでA/Bテストを実行します。たとえば、特定のGoogleアナリティクスのユーザープロパティに一致する特定のアプリのバージョン、プラットフォーム、言語、人口統計を実行しているユーザーのサブセットをターゲットにすることができます。

それはどのように機能しますか?

実験を作成するときは、テスト可能なアクションの1つ以上のバリアントをテストし、達成したい目標(アプリ内購入の促進など)に対してバリアントがどの程度うまく機能するかを測定します。ターゲットユーザーグループは、「AND」ロジックで連鎖された複数の基準によって定義できます。たとえば、クライアントによって設定されたカスタムGoogle Analyticsユーザープロパティに一致する「クラッシュユーザー」など、Analyticsオーディエンスの両方に属する特定のアプリバージョンのユーザーにグループを制限できます。

ABテスト実験では、Google Analyticsを使用してリモート構成とメッセージングアクションをテストし、ユーザーをターゲットにして結果を測定します。

Remote Configを使用すると、複数のバリアントにわたるいくつかのパラメーターの変更を試して、各バリアントグループ全体でさまざまな方法でアプリの動作と外観を変更できます。これは、最適な配色やメニューオプションの配置などの微妙な変更や、まったく新しい機能やUIデザインのテストなどの重要な変更に使用できます。通知コンポーザーを使用すると、通知メッセージの正しい表現を見つけるために実験することができます。

実験でRemoteConfigを使用する場合でも、Notifications Composerを使用する場合でも、有効な結果セットが得られるまで実験を監視し、目標を最もよく達成するバリアントであるリーダーを特定できます。ユーザーベースのわずかな割合で実験を開始し、時間の経過とともにその割合を増やすことができます。最初の実験で、現在のアプリよりも目標を達成するバリアントが明らかにならない場合は、新しい実験を開始して、アプリを改善するための最良の方法を見つけることができます。

また、他の指標(アプリのクラッシュ、保持、エンゲージメント)を目標とともに追跡できるため、実験の結果と、それがアプリの使用体験にどのように影響するかをよりよく理解できます。

実装パス

アプリにRemoteConfigまたはFirebaseCloudMessagingを追加するアプリで既にRemoteConfigまたはCloudMessaging(あるいはその両方)を使用している場合は、次の手順にスキップできます。
A/Bテストで評価するバリアントを定義します。変更が微妙であるか、新しいUIまたは機能の追加であるかにかかわらず、Remote Configを使用してその変更を制御できる場合は、A/Bテストを使用してその変更で複数のバリアントをテストできます。

また、通知コンポーザーでA / Bテストを使用して、すべてのユーザーにロールアウトする前に、再エンゲージメントキャンペーンで複数のバリアントをテストすることもできます。
成功を測定する方法を定義する通知コンポーザーを使用する実験では、Analyticsイベントを使用して、実験の目標を定義し、実験のバリエーションを比較できます。 Remote Config実験では、Analyticsイベントまたはコンバージョンファネルのいずれかを使用して、実験の目標を定義できます。
実験を監視して、勝者のバリアントを見つけますほんの数人のユーザーで実験を開始し、初期の結果が良さそうな場合は、より多くのユーザーに展開することができます。実験を監視すると、一部のバリアントがアプリのクラッシュやその他のアプリエクスペリエンスへの影響を引き起こすかどうかを確認できます。また、どのバリアントが目標に向かって最も進んでいるかを確認できます。

次のステップ