使用 AutoML Vision Edge 訓練圖片標籤模型

如要訓練圖片標籤模型，您必須向 AutoML Vision Edge 提供一組圖片和相應的標籤。AutoML Vision Edge 會使用這個資料集在雲端訓練新模型，您可以在應用程式中使用這個模型進行裝置端圖片標註。如需這項功能的一般資訊，請參閱總覽。

AutoML Vision Edge 是 Google Cloud 服務。使用這項服務時，須遵守《Google Cloud Platform 授權協議》和《服務專屬條款》，並依據相關規定付費。如需帳單資訊，請參閱 AutoML 定價頁面。

事前準備

1. 彙整訓練資料

首先，您需要將標記圖片組合成訓練資料集。請留意下列規範：

  • 圖片格式必須是 JPEG、PNG、GIF、BMP 或 ICO。

  • 每張圖片的大小不得超過 30 MB。請注意，AutoML Vision Edge 會在預先處理期間縮小大部分圖片，因此提供解析度極高的圖片通常不會提高準確度。

  • 每個標籤至少提供 10 個示例，最好是 100 個以上。

  • 為每個標籤提供多個角度、解析度和背景。

  • 訓練資料應儘可能貼近要用來進行預測的資料。舉例來說，如果所需用途主要是模糊和低解析度的圖片 (例如監視攝影機拍攝的圖片)，則訓練資料也應為模糊和低解析度的圖片。

  • AutoML Vision Edge 產生的模型經過最佳化，可用於拍攝真實物件的相片。但可能無法處理 X 光片、手繪圖、掃描文件、收據等。

    此外，模型通常無法預測人類無法指派的標籤。因此，如果無法訓練人類在觀看圖片 1-2 秒後指派標籤，則可能也無法訓練模型這麼做。

準備好訓練圖片後，請將圖片匯入 Firebase。三個選項如下：

方法 1：結構化 ZIP 壓縮檔

將訓練圖片分類至目錄，每個目錄以標籤命名，並包含該標籤的圖片示例。接著，將目錄結構壓縮為 ZIP 封存檔。

這個 ZIP 封存檔中的目錄名稱長度上限為 32 個 ASCII 字元，且只能包含英數字元和底線字元 (_)。

例如：

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

做法 2：Cloud Storage 搭配 CSV 索引

將訓練圖片上傳至 Google Cloud Storage，並準備 CSV 檔案列出每張圖片的網址，以及每張圖片的正確標籤 (選用)。使用龐大資料集時，這個選項會很實用。

舉例來說，您可以將圖片上傳至 Cloud Storage，並準備以下格式的 CSV 檔案：

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

圖片必須儲存在 Firebase 專案對應 Google Cloud 專案的值區中。

如要進一步瞭解如何準備 CSV 檔案，請參閱 Cloud AutoML Vision 說明文件中的「準備訓練資料」。

選項 3：未標示的圖片

上傳訓練圖片後，請在 Firebase 主控台中標示圖片，可以個別標示或將圖片壓縮為非結構化 ZIP 檔案。請參閱下一個步驟。

2. 訓練模型

接著，請使用圖片訓練模型：

  1. 在 Google Cloud 控制台中開啟「Vision Datasets」頁面。系統顯示提示時，請選取專案。

  2. 按一下「新資料集」，為資料集提供名稱，選取要訓練的模型類型，然後按一下「建立資料集」。

  3. 在資料集的「Import」分頁中，上傳訓練圖片的 ZIP 壓縮檔案，或是包含上傳位置的 Cloud Storage CSV 檔案。請參閱「彙整訓練資料」一節。

  4. 匯入工作完成後，請使用「圖片」分頁標籤驗證訓練資料，並為所有未標示的圖片加上標籤。

  5. 在「Train」分頁中，按一下「Start training」。

    1. 為模型命名，然後選取「Edge」模型類型。

    2. 設定下列訓練設定，這些設定會控管產生的模型效能：

      針對以下項目改善模型成效： 要使用的模型設定。如果您重視低延遲或小型套件，可以訓練速度較快、體積較小的模型；如果您重視準確度，則可以訓練速度較慢、體積較大的模型。
      節點時數預算

      訓練模型的最大時間 (以運算小時為單位)。訓練時間越長，模型的準確度通常就越高。

      請注意，如果系統判定模型已達到最佳化，且額外訓練無法提高準確度，訓練可能會在指定時間內完成。您只需要為實際使用的時數付費。

      一般訓練時間
      極小組合1 小時
      500 張圖片2 小時
      1,000 張圖片3 小時
      5,000 張圖片6 小時
      10,000 張圖片7 小時
      50,000 張圖片11 小時
      100,000 張圖片13 小時
      1,000,000 張圖片18 小時

3. 評估模型

訓練完成後，您可以按一下「Evaluate」分頁標籤，查看模型的效能指標。

這個頁面的重要用途之一，就是判斷最適合模型的可信度門檻。可信度門檻是指模型為圖片指派標籤時必須達到的信賴水準。只要移動「可信度門檻」滑桿，即可查看不同門檻值對模型成效的影響。模型效能會透過兩個指標進行評估：精確度和召回率。

在圖像分類的情況下，準確度是指在指定門檻下，正確標記的圖片數量與模型標記的圖片數量之間的比例。模型的精確度越高，錯誤指派標籤的機率就越低 (偽陽性情形較少)。

喚回率是正確標示圖片數量與模型應能標示圖片內容的圖片數量比率。當模型的喚回率偏高時，無法指派任何標籤的情況會減少 (偽陰性情形較少)。

您要根據精確度還是喚回率進行最佳化，取決於用途。詳情請參閱 AutoML Vision 新手指南和 包容性機器學習指南 - AutoML。

找到可產生您滿意指標的可信度門檻後，請記下這項資訊，以便在應用程式中使用可信度門檻設定模型 (您隨時可以使用這項工具取得適當的門檻值)。

4. 發布或下載模型

如果您滿意模型的效能，且想在應用程式中使用模型，有三個選項可供選擇：部署模型以進行線上預測、將模型發布至 Firebase，或是下載模型並與應用程式捆綁。

部署模型

您可以在資料集的「Test & use」分頁中，部署用於線上預測的模型，在雲端中執行模型。Cloud AutoML 文件會說明這個選項。本網站上的文件會說明其餘兩個選項。

發布模型

將模型發布至 Firebase 後，您就能在未發布新版應用程式的情況下更新模型，並使用 Remote Config 和 A/B Testing，為不同使用者群組動態提供不同的模型。

如果您選擇只透過 Firebase 代管模型，而非與應用程式捆綁，就能縮減應用程式的初始下載大小。不過，請注意，如果模型未與應用程式捆綁，則必須等到應用程式首次下載模型，才能使用任何模型相關功能。

如要發布模型，您可以使用下列任一方法：

  • 在 Google Cloud 控制台的資料集「Test & use」頁面中下載 TF Lite 模型，然後在 Firebase 控制台的「Custom model」頁面上傳模型。這通常是發布單一模型最簡單的方式。
  • 使用 Admin SDK 直接從 Google Cloud 專案將模型發布至 Firebase。您可以使用這個方法批次發布多個模型，或協助建立自動發布管道。

如要使用 Admin SDK 模型管理 API 發布模型，請按照下列步驟操作：

  1. 安裝並初始化 SDK。

  2. 發布模型。

    您必須指定模型的資源 ID，這是一串字串，如下所示：

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER 包含模型的 Cloud Storage 值區專案編號。這可能是您的 Firebase 專案或其他 Google Cloud 專案。您可以在 Firebase 主控台的「設定」頁面或 Google Cloud 主控台資訊主頁中找到這個值。
    MODEL_ID 您從 AutoML Cloud API 取得的模型 ID。

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

下載模型並與應用程式組合

將模型與應用程式捆綁後，即使 Firebase 託管的模型無法使用，應用程式的機器學習功能仍可正常運作。

如果您同時發布模型並將其與應用程式捆綁，應用程式會使用可用的最新版本。

如要下載模型，請在資料集的「Test & use」頁面中，點選「TF Lite」。

後續步驟

在發布或下載模型後，請瞭解如何在 iOS+ 和 Android 應用程式中使用模型。