Firebase A/B 測試
Firebase A/B 測試由Google Optimize提供支持,可幫助您輕鬆運行、分析和擴展產品和營銷實驗,從而優化您的應用體驗。它使您能夠測試對應用程序的用戶界面、功能或參與度活動的更改,以查看它們是否真的在您的關鍵指標(如收入和留存率)上發揮作用,然後再廣泛推出。
A/B 測試與 FCM 一起使用,以便您可以測試不同的營銷信息,並與遠程配置一起使用,以便您可以在應用程序中測試更改。
關鍵能力
測試並改善您的產品體驗 | 使用 Remote Config 創建實驗,以更改您的應用在實驗中的變體的行為和外觀,並測試哪種產品體驗最有效地推動您最關心的結果。 |
使用通知編輯器尋找重新吸引用戶的方法 | 使用 A/B 測試來幫助您找到最有效的措辭和消息傳遞設置,以將用戶帶入您的應用程序。 |
安全推出新功能 | 不要在沒有確保它首先滿足您的目標的一小部分用戶的情況下推出新功能。一旦您對 A/B 測試結果充滿信心,就可以將該功能推廣給所有用戶。 |
使用 Google Analytics 數據定位用戶群 | 使用 Google Analytics 數據在您的目標客戶上運行 A/B 測試。例如,您可以定位運行與特定 Google Analytics(分析)用戶屬性相匹配的特定應用版本、平台、語言和人口統計的用戶子集。 |
它是如何工作的?
創建實驗時,您會測試可測試操作的一個或多個變體,並衡量變體在實現您想要實現的目標(例如促進應用內購買)方面的表現。您的目標用戶組可以由多個標準與“AND”邏輯鏈接;例如,您可以將組限制為屬於特定應用程序版本的用戶,這些用戶同時屬於 Analytics 受眾,例如與客戶設置的自定義 Google Analytics 用戶屬性匹配的“崩潰用戶”。
借助遠程配置,您可以嘗試對多個變體中的多個參數進行更改,以在每個變體組中以多種方式改變應用的行為和外觀。您可以將其用於細微的更改,例如修補最佳配色方案和菜單選項的位置,或者用於測試全新功能或 UI 設計等重大更改。使用通知編輯器,您可以嘗試為通知消息找到正確的措辭。
無論您的實驗使用遠程配置還是通知編輯器,您都可以監控您的實驗,直到獲得一組有效的結果,然後確定領導者,即最能實現您的目標的變體。您可以從一小部分用戶群開始實驗,然後隨著時間的推移增加該百分比。如果您的第一個實驗沒有發現比您的應用當前更好地實現您的目標的變體,您可以開始新一輪的實驗以找到改進您的應用的最佳方法。
您還可以跟踪其他指標(應用程序崩潰、留存率和參與度)以及您的目標,以便更好地了解實驗結果以及它如何影響使用應用程序的體驗。
實施路徑
將 Remote Config 或 Firebase Cloud Messaging 添加到您的應用 | 如果您的應用程序已經使用遠程配置或云消息傳遞(或兩者),您可以跳到下一步。 | |
定義要使用 A/B 測試評估的變體。 | 無論您的更改是細微的還是添加了新的 UI 或功能,如果您可以使用遠程配置控制該更改,您可以使用 A/B 測試測試該更改的多個變體。 您還可以將 A/B 測試與通知編輯器一起使用,在您向所有用戶推出之前,在您的再互動活動中測試多個變體。 | |
定義如何衡量成功 | 通過使用通知編輯器的實驗,您可以使用 Analytics 事件來定義實驗目標並比較實驗變體。通過遠程配置實驗,您可以使用 Analytics 事件或轉化渠道來定義實驗目標。 | |
監控您的實驗以找到獲勝的變體 | 您可以僅從少數用戶開始實驗,然後在早期結果看起來不錯的情況下將其推廣給更多用戶。在監控實驗時,您會看到某些變體是否會導致更多應用崩潰或對應用體驗產生其他影響,並且您還可以看到哪個變體在實現目標方面取得的進展最大。 |
下一步
- 查看 A/B 測試視頻系列,涵蓋從基礎到高級主題的所有內容。
- 開始為Remote Config或Notifications composer創建實驗。
- 詳細了解與 A/B 測試交互的 Firebase 功能: Google Analytics 、 Firebase 遠程配置、通知消息、 AdMob和遠程配置個性化。
- 了解有關Optimize的更多信息,它使用與 A/B 測試相同的複雜貝葉斯統計數據。