遠端設定推出作業簡介

本指南提供與Remote Config推出相關的重要概念資訊,協助您:

瞭解推出群組成員資格

建立新的推出作業並指派百分比時,Firebase 會將相同大小的目標對象部分放入控制組,以便比較已啟用功能的成效,得出準確結果,並產生下列群組。

  • 已啟用:指派給這個群組的使用者裝置會收到您在推出作業中設定的值。
  • 控制:指派給這個群組的使用者裝置會收到原本應從 Remote Config 收到的值,而不是推出值。
  • 未指派:這個群組中的使用者裝置會收到原本應從 Remote Config 收到的值,但不會用於推出比較結果。

也就是說,如果您向 2% 的使用者推出新功能,系統會將這些使用者新增至「已啟用」群組,並將另外 2% 的使用者新增至「控制項」群組,以供比較。96% 的使用者仍處於「未指派」狀態。

這樣一來,您就能在「推出結果」頁面,有效判斷推出作業是否成功,並公平比較收到推出值的裝置和使用者,以及未收到推出值的裝置和使用者。

在整個推出階段,推出群組的指派作業會保持一致。也就是說,在同一次推出中,如果將百分比調降至 0%,所有使用者都會還原為接收 Remote Config 範本中定義的參數值。如果日後決定提高推出百分比,先前屬於「已啟用」或「控制組」的使用者會返回原先指派的群組,並收到與這些群組一致的值。

確認發布作業成功後,如果您決定向 100% 的目標使用者全面發布,Firebase 就不會再使用控制組,所有目標使用者和裝置都會收到推出值。

何時該推出版本,何時該進行 A/B 測試?

Remote ConfigA/B Testing 適用於略有不同的用途,且可互補使用。

推出是指逐步發布,通常用於向特定使用者群組發布新功能。您可能想指定特定國家/地區的使用者,或使用特定版本的應用程式。您可以透過推出功能來降低風險,在嚴格控管的實際環境中測試新功能,瞭解功能成效。您也可以監控後端服務在新增功能帶來的額外負載下,運作情形如何,並估算使用量,確保變更可擴充,再向更廣大的目標對象發布。

當您導入會大幅改變功能的新功能、可能導致無法預測結果的變更,或是可能影響後端基礎架構、服務或外部 API 的變更時,推出功能是絕佳的工具。

A/B Testing 可讓您呈現多個版本的應用程式功能或元素,例如更新 UI 外觀和風格、變更廣告文案、更新遊戲關卡難度。然後向使用者顯示不同變化版本,根據您選擇的指標 (例如使用者參與度、廣告點擊次數和收益),瞭解哪個選項能帶來更好的成效。

使用 A/B Testing 根據資料做出決策、進行最佳化,以及瞭解使用者的偏好。如果您有多個可比較的選項,且目標非常明確,就非常適合使用 A/B Testing。舉例來說,如果您想調整應用程式,以改善特定指標 (例如測試哪種橫幅廣告刊登位置能帶來更多點擊),就適合使用 A/B Testing

建議您在整體策略中,一併採用 Remote Config 推出和 A/B Testing:首先,針對一小群使用者進行 A/B 測試,找出可為主要指標帶來最佳結果的版本。然後,在 A/B Testing 判斷出領導者後,使用勝出變體建立推出作業。逐步增加曝光使用者人數,並監控穩定性和重要指標。確認成效良好後,再向所有使用者推出。

瞭解推出結果

發布推出作業後,您應該很快就能看到成效。

您可以透過多種方式查看結果:

  • 在「參數」頁面中,展開您為推出版本設定的參數,然後在推出版本下方點選「查看結果」
  • 在「推出」頁面中,按一下推出名稱。

您可以使用「結果」頁面頂端的應用程式選取器,選取特定應用程式的檢視畫面。結果會分成多個部分:

  • 「摘要」部分,顯示已設定的「發布百分比」,並提供回溯或編輯發布作業的功能。展開後,會顯示推出作業的設定詳細資料總覽變更記錄
  • 「使用者」部分,顯示下列各群組中已擷取推出範本的不重複應用程式安裝次數:

    • 已啟用:符合目標推出條件並已擷取推出值的應用程式執行個體數量。
    • 控制組:符合目標推出條件且已擷取未變更值的應用程式例項數量。
    • 目標:符合您在推出作業中設定條件的預估總例項數,這些例項應會收到推出作業或未變更的值。

    詳情請參閱「瞭解推出群組成員資格」。

  • 「已啟用」和「控制」群組的比較資料會顯示在 CrashlyticsAnalytics 區段。您可以篩選「過去 24 小時」、「上次發布後至今」或「過去 7 天」的收集資料。預設檢視畫面為「過去 24 小時」。

Crashlytics 項推出作業的結果

您可以查看在推出期間發生的當機非嚴重錯誤ANR 總數。每個結果類別都會顯示長條圖,比較符合推出條件的「已啟用」和「控制組」使用者原始總數。

  • 當機:顯示「已啟用」和「控制項」群組的當機次數和百分比,以及發生當機情形的不重複使用者人數。
  • 非嚴重錯誤:顯示非嚴重錯誤的數量和百分比,以及發生非嚴重錯誤的不重複使用者人數。
  • ANR (僅限 Android 應用程式):顯示「應用程式沒有回應」事件的次數和百分比,以及發生一或多個 ANR 事件的不重複使用者人數。

如要查看當機事件的詳細資訊,請按一下「在以下位置查看更多資訊」Crashlytics系統會開啟 Crashlytics 頁面,並針對您檢查結果的推出作業啟用篩選器。「推出」頁面的結果會評估接觸過「已啟用」或「控制項」變體的Crashlytics所有使用者。您可以選擇查看控制組或啟用組的當機情形,也可以同時查看兩者。

Google Analytics 項推出作業的結果

「推出結果」Google Analytics部分會詳細比較曾接觸「已啟用」或「控制」群組的所有使用者Analytics指標,並以圖表呈現。系統會提供三項指標:

  • 總收益:顯示總收益金額,包括廣告收益和購買收益 (以美元計價)。您可以篩選結果,只顯示廣告收益或購買收益的結果。
  • 轉換總數:顯示所有轉換事件的原始總數。您可以根據要強調的轉換來篩選結果。
  • 總參與時間:顯示使用者在其中一個推出變體上花費的總參與時間。參與時間總長會以「時:分:秒」格式顯示。例如 01:31:28。圖表會顯示您在「Crashlytics」部分上方選取的時段資料。

後續步驟