本頁面由 Cloud Translation API 翻譯而成。

透過 A/B 測試建立應用程式內通訊實驗

當你接觸使用者或推出新的行銷廣告活動時請務必確認一切正確無誤A/B 測試測試訊息變化版本，找出最理想的用詞與呈現方式指定的目標對像人數您的目標是否有助於提升留存率或就建立產品的轉換，A/B 測試可以進行統計分析判斷某個訊息變化版本的成效是否優於基準選取的目標

如要針對基準測試 A/B 版本測試功能變化版本，請按照下列步驟操作：

建立實驗。
在測試裝置上驗證實驗。
管理實驗。

，瞭解如何調查及移除這項存取權。

建立實驗

您可以使用Firebase In-App Messaging評估實驗的多個變化版本一則應用程式內通訊訊息。

登入 Firebase 控制台並確認專案已啟用 Google Analytics 這項實驗可存取 Analytics 資料。

如果在建立專案時未啟用 Google Analytics，可以透過整合服務啟用這項功能分頁，你可以透過存取 > 專案設定中的Firebase控制台。
在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
按一下「建立實驗」，然後選取「應用程式內通訊」出現您想要實驗的服務時。
或者，在 Firebase 控制台的導覽選單中展開「互動」，然後按一下「In-App Messaging」。然後按一下「新增」實驗。
輸入實驗的名稱和選填說明，然後點選「下一步」。
填寫「指定目標」欄位，請先選擇使用進行實驗。您也可以指定一部分的使用者參與測試選擇包含下列項目的選項：
- 版本：應用程式的一或多個版本
- 使用者目標對象： Analytics 目標對象，用於指定使用者哪些使用者所屬的實驗
- 使用者屬性：一或多個 Analytics 使用者屬性選取要納入實驗的使用者
- 國家/地區：要選取的一或多個國家/地區有可能納入實驗的使用者
- 裝置語言：選取的一或多種語言和語言代碼有可能納入實驗的使用者
- 初次開啟：根據初次開啟的使用者指定使用者開啟這個應用程式
- 與應用程式上次互動的時間：根據上次使用時間指定使用者使用者與您的應用程式互動
，瞭解如何調查及移除這項存取權。
注意： 以 Analytics 使用者目標對象為指定目標的實驗，可介於 24 到 48 小時後才能累積資料。如要進一步瞭解這個指定目標和其他指定目標請參閱指定使用者。
設定「目標使用者百分比」：選取應用程式的百分比使用者數量必須符合「目標使用者」下方設定的條件平均分配基準和一或多個變化版本實驗。這可以是 0.01% 到 100% 之間的任何百分比。系統會在每個實驗中隨機重新分配百分比給使用者。 (包括重複的實驗)。
在「變化版本」部分中，設定要傳送的應用程式內基準訊息透過訊息設計介面加入基準群組您用於一般的應用程式內通訊廣告活動
如要在實驗中加入變化版本，請按一下「新增」子類：根據預設，實驗會有一個基準和一個變化版本。
(選用) 為每個子類輸入較一目瞭然的名稱。
(選用) 按一下「變化版本」變化版本頂端的「比較」 變化版本按鈕，可用來並排比較另外一個訊息變化版本與基準訊息。
為評估實驗時要使用的實驗目標指標變化版本，以及您想從清單中使用的其他指標。包括內建目標 (參與度、購買、收益和回訪率等)Analytics 轉換事件和其他 Analytics 事件。
設定實驗的時段設定：
- 設定實驗的「開始」和「結束日期」。
- 設定在所有變化版本中觸發應用程式內訊息的方式。
按一下「查看」儲存實驗。

每個專案最多可加入 300 個實驗。最多可包含 24 個執行中的實驗，其餘實驗則以草稿或已完成的形式顯示。

在測試裝置上驗證實驗

您可以擷取每項 Firebase 安裝的安裝驗證權杖相關聯的資源您可以使用這個權杖測試特定實驗變化版本。若要驗證您在請執行下列操作：

取得安裝驗證權杖，如下所示：

Swift

do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

Objective-C

[[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

Java

FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});MainActivity.java

Kotlin+KTX

val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }MainActivity.kt

在 Firebase 控制台的導覽列中，按一下 A/B 測試。
按一下「草稿」，和/或遠端點選「執行」。設定實驗)，請將滑鼠遊標懸停在實驗上，然後按一下內容選單 ()，然後按一下 管理測試裝置。
輸入測試裝置的安裝驗證權杖，然後選擇要傳送到該測試裝置的變化版本
執行應用程式，並確認系統是透過測試裝置。

如要進一步瞭解 Firebase 安裝作業，請參閱管理 Firebase 安裝項目。

管理實驗

您是否使用「Remote Config」、「通知編輯器」或 Firebase In-App Messaging，您就可以驗證並開始實驗讓參與測試的人數以及執行中的實驗

實驗完成後，您可以記下勝出版本，然後將這些設定發布給所有使用者。或者，您也可以然後執行其他實驗

開始實驗

在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
按一下「草稿」，然後點選實驗標題。
驗證應用程式是否有使用者將實驗，展開草稿詳細資料並查看數字「指定目標與分配」部分中的「指定目標」大於「0%」 (例如：1% 符合條件的使用者)。
如要變更實驗，請按一下「編輯」。
如要開始實驗，請按一下「開始實驗」。最多可執行 24 個一次執行每項專案

監控實驗

實驗執行一段時間後，您可以查看看看你的成果會如何吸引已參與的使用者實驗人數

在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
按一下「執行中」，然後點選或搜尋進行實驗。這個頁面會顯示已觀察到和模擬的各種資訊有關執行中實驗的統計資料，包括：
- 與基準相比的差異百分比：衡量指標的改善幅度特定變化版本與基準相比的結果計算方式是比較變化版本的值範圍和基準的值範圍。
- 超過基準的機率：特定指定字詞的預估機率變化版本的成效高於所選指標的基準。
- 每位使用者 observed_metric：根據實驗結果，這個預測範圍就是指標值讓應用程式從可以最快做出回應的位置回應使用者要求
- observed_metric總數：觀察到的累計值基準或變化版本這個值可用來評估各項實驗變化版本的成效，並用於計算「改善」、 數值範圍、超越基準的機率和可能性是最佳子類。視要評估的指標而定標題為「每位使用者的持續時間」「每位使用者的收益」「回訪率」或「轉換率」
實驗執行一段時間後 (針對「FCM」執行至少 7 天) 和 In-App Messaging 或 14 天 (Remote Config)，本頁面中的資料會指出哪個變化版本 (如有) 為「勝出版本」。有些測量值是並附上長條圖，以視覺化方式呈現資料。

，瞭解如何調查及移除這項存取權。

對所有使用者推出實驗

如果實驗執行時間夠長，並能產生一個「領先者」或勝出您可針對目標指標，向所有使用者發布實驗。方便您選取要向日後所有使用者發布的變化版本。平均如果實驗沒有產生明確的勝出組合，您仍然可以您可以選擇對所有使用者發布變化版本

在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
按一下「已完成」或「執行中」，點選所需實驗請按一下內容選單 ()。 推出變化版本。
採取下列任一做法，向所有使用者推出實驗：
- 如果是使用通知編輯器的實驗，請使用「推出訊息」對話方塊，用於將訊息傳送至其餘目標未參與實驗的使用者。
- 在「Remote Config」實驗中，選取變化版本以決定要更新的 Remote Config 參數值。定義的指定條件這些實驗馬上成為範本，確保推出作業只會影響進行實驗。點選「查看遠端設定」後，即可查看變更時，請按一下 [發布變更] 完成推出作業。
- 在 In-App Messaging 實驗中，請使用對話方塊決定變化版本必須以獨立 In-App Messaging 廣告活動的形式推出。選取後，系統會將您重新導向至 FIAM 撰寫畫面，藉此建立變更進行發布。

展開實驗

如果您發現實驗無法為「A/B Testing」帶來足夠的使用者您可以擴大實驗的分配範圍，將更多比例的應用程式使用者

在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
選取要編輯的進行中實驗。
在「實驗總覽」中，按一下內容選單 ()，然後按一下「編輯執行中的實驗」。
「指定目標」對話方塊會顯示選項，讓您提高參與實驗的使用者。請選取較大的數字然後按一下「發布」實驗將會是就會向指定百分比的使用者發布

複製或停止實驗

在 Firebase 控制台導覽選單的「互動」部分，按一下 A/B Testing。
按一下「已完成」或「執行中」，將指標懸停在實驗上。按一下內容選單 () 和然後按一下「複製實驗」或「停止實驗」。

指定使用者

您可以指定要納入使用下列使用者指定條件來進行實驗。

指定條件	運算子	值	注意事項
版本	包含不包含完全符合，包含規則運算式	輸入您要加入一或多個應用程式版本的值進行實驗。	使用任一「包含」、「不包含」或「不適用」時，「完全符合」運算子，您可以提供以半形逗號分隔的清單輕鬆分配獎金使用「包含規則運算式」運算子時，您可以建立一般 RE2 中的運算式格式。規則運算式可與目標版本的所有或部分目標版本相符字串。您也可以使用 ^ 和 $ 錨點，與目標字串的開頭、結尾或完整內容。
使用者目標對象	包括所有包含至少一個不包含所有不包含至少一個	選取一或多個Analytics目標對象來指定可能的使用者已納入實驗範圍	有些指定 Google Analytics 目標對象的實驗可能需要執行系統需要幾天的時間才會累積資料，因為資料受Analytics約束資料處理延遲時間。新使用者很有可能遇到這個延遲通常會在建立目標對象後 24 到 48 小時，加入符合資格的目標對象。的最近建立的目標對象。
使用者屬性	文字：包含不包含完全符合包含規則運算式電話號碼： <、≤、=、≥、>	Analytics 使用者屬性用於選取可納入的使用者在你的實驗中，透過多種選項選取使用者屬性輕鬆分配獎金在用戶端中，您只能為使用者設定字串值資源。如果是使用數字運算子的條件， Remote Config 服務會將對應的值將使用者屬性轉換為整數/浮點值	使用「包含規則運算式」運算子時，您可以建立一般 RE2 中的運算式格式。規則運算式可與目標版本的所有或部分目標版本相符字串。您也可以使用 ^ 和 $ 錨點，與目標字串的開頭、結尾或完整內容。
國家/地區	不適用	使用一或多個國家/地區，由系統挑選並納入特定使用者
語言	不適用	由系統挑選的使用者，他們會使用一或多個語言和語言代碼
初次開啟	超過小於介於	根據首次接觸的使用者以天為單位指定開啟應用程式的方式
與應用程式的最近一次互動	超過小於介於	根據最近一次與應用程式互動的時間來指定使用者以天為單位。

A/B Testing 項指標

建立實驗時，您必須選擇主要或「目標」指標，也就是以便決定勝出的變化版本你應該追蹤其他指標可協助您進一步瞭解每個實驗變化版本的成效並追蹤各變化版本的重要趨勢可能不同，例如使用者留存率、應用程式穩定性和應用程式內購收益您最多可以追蹤 5 個非目標實驗指標

舉例來說，假設您在應用程式中加入了新的應用程式內購項目比較不同「自動提醒」訊息。在這個範例中可能決定將「購買收益」設為目標指標。因為您希望勝出的變化版本代表是應用程式內購收益最高的國家/地區因為您也需要追蹤哪個變化版本可帶來日後轉換量和留存使用者，可能會在「其他要追蹤的指標」中新增下列內容：

預估總收益，查看您應用程式內購和廣告的總和兩個變化版本的收益差異
保留 (1 天)、保留 (2 至 3 天)、回訪率 (4 到 7 天)：追蹤每日/每週使用者留存率

，瞭解如何調查及移除這項存取權。

下表詳細列出目標指標和其他指標的運作方式

「目標」指標

指標	說明
未遇到當機情形的使用者比例	您應用程式未遇到錯誤的使用者百分比 Firebase Crashlytics SDK 在實驗期間偵測到。
預估廣告收益	預估廣告收益。
預估總收益	總購買價值和預估廣告收益的加總值。
購買收益	所有 `purchase` 和 `in_app_purchase` 事件。
回訪率 (1 天)	每日回訪您應用程式的使用者人數。
回訪率 (2 至 3 天)	在 2 到 3 天內回訪應用程式的使用者人數。
回訪率 (4 至 7 天)	在 4 到 7 天內回訪應用程式的使用者人數。
回訪率 (8 至 14 天)	在 8 到 14 天內回訪應用程式的使用者人數。
回訪率 (15 天以上)	使用者在超過 15 天後回訪應用程式的使用者人數上次使用時間
first_open	Analytics 事件，會在使用者於使用者之後首次開啟應用程式時觸發安裝或重新安裝用於轉換漏斗。

其他指標

指標	說明
通知關閉	在以下情況傳送通知時觸發的 Analytics 事件：通知編輯器已關閉 (僅限 Android)。
通知「receive_receive」	在以下情況傳送通知時觸發的 Analytics 事件：在應用程式於背景運作時接收通知編輯器 (僅限 Android)。
os_update	追蹤裝置作業系統的 Analytics 事件更新為新版本。詳情請參閱收集的事件
screen_view	Analytics 事件，用於追蹤使用者在應用程式中瀏覽的畫面。學習詳細資訊，請參閱追蹤畫面瀏覽：
session_start	用於計算應用程式內使用者工作階段的 Analytics 事件。如要瞭解詳情查看「自動收集的事件