匯出及匯入資料

您可以使用 Cloud Firestore 代管匯出與匯入服務 復原意外刪除的資料,以及匯出資料以供離線使用 和資料處理之間你可以匯出所有文件,或只匯出特定集合。同樣地 您可以匯入某個匯出項目的所有資料,也可以只匯入特定集合的資料。資料 從某個 Cloud Firestore 資料庫匯出後,即可匯入另一個資料庫 Cloud Firestore 資料庫。您也可以載入 Cloud Firestore 會匯出至 BigQuery

本頁說明如何使用以下項目匯出及匯入 Cloud Firestore 份文件: 匯出與匯入代管服務以及 Cloud StorageCloud Firestore 代管匯出與匯入服務開放存取: gcloud 指令列工具和 Cloud Firestore API (RESTRPC)。

事前準備

您必須先完成下列步驟,才能使用匯出與匯入代管服務:

  1. Google Cloud 專案啟用結帳功能。只有啟用計費功能的 Google Cloud 專案才能使用匯出與匯入功能。
  2. 建立 「您的專案」有 Cloud Storage 值區,位於 您的 Cloud Firestore 資料庫位置。您無法使用 匯出和匯入作業的要求者付費值區。
  3. 請確認您的帳戶具備 Cloud FirestoreCloud Storage 的必要權限。如果您是專案擁有者 該帳戶具備必要權限否則,下列角色可授予匯出和匯入作業,以及存取 Cloud Storage 的必要權限:

服務代理權限

匯出和匯入作業會使用 Cloud Firestore 服務代理來授權 Cloud Storage 作業。Cloud Firestore 服務代理程式使用下列命名慣例:

Cloud Firestore 服務代理
service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com

如要進一步瞭解服務代理人,請參閱「服務代理人」。

Cloud Firestore 服務代理需要能夠存取匯出或匯入作業所用的 Cloud Storage 值區。如果您的 「Cloud Storage」值區與「Cloud Firestore」位於相同專案 定義完成之後,Cloud Firestore 服務代理就能存取 值區

如果 Cloud Storage 值區在另一項專案中,您 必須向「Cloud Firestore」服務代理授予「Cloud Storage」的存取權 Cloud Storage 也提供目錄同步處理功能 方便您同步處理 VM 目錄與值區

為服務代理指派角色

您可以使用 gsutil 指令列工具指派下列其中一種角色。例如,如要將「儲存空間管理員」角色指派給 Cloud Firestore 服務代理,請執行以下指令:

gsutil iam ch serviceAccount:service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com:roles/storage.admin \
    gs://[BUCKET_NAME]

請將 PROJECT_NUMBER 替換為您的專案編號,用於命名 Cloud Firestore 服務代理。如何查看 服務代理名稱,請參閱「查看服務代理名稱」一節。

或者,您也可以使用 Google Cloud 控制台指派此角色

查看服務代理名稱

您可以前往 Google Cloud 控制台的「Import/Export」頁面,查看匯入和匯出作業用來授權要求的帳戶。你也可以 查看資料庫是否使用 Cloud Firestore 或舊版 App Engine 服務帳戶

  1. 查看 「匯入/匯出工作執行的身分」標籤。

服務代理需要 Storage Admin 角色,才能使用 Cloud Storage 值區進行匯出或匯入作業。

為專案設定 gcloud

您可以透過 Google Cloud 控制台或 gcloud 指令列工具。如要使用 gcloud,請設定指令列工具 並透過下列其中一種方式連線至專案:

匯出資料

匯出作業會將資料庫中的文件複製到 Cloud Storage 值區中的一組檔案。請注意,匯出作業並非實際取得的資料庫快照 匯出作業開始時間匯出項目可能包含操作期間所做的變更 執行中。

匯出所有文件

Google Cloud Console

  1. 前往 Google Cloud 控制台的「Databases」(資料庫) 頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需的資料庫。

  3. 在導覽選單中,按一下「匯入/匯出」

  4. 按一下 [匯出]

  5. 按一下「Export full database」(匯出整個資料庫) 選項。

  6. 在「Choose Destination」下方,輸入 Cloud Storage 值區名稱 或使用「瀏覽」按鈕選取值區。

  7. 按一下 [匯出]

主控台會回到「Import/Export」頁面。如果作業成功啟動 系統隨即會在最近的匯入與匯出頁面新增項目。失敗時,頁面會顯示錯誤訊息。

gcloud

使用 firestore export 指令匯出全部資料 資料庫中的文件,請將 [BUCKET_NAME] 替換為 Cloud Storage 值區。新增 --async 標記,避免 gcloud 工具 等待作業完成

  gcloud firestore export gs://[BUCKET_NAME] \
  --database=[DATABASE]

更改下列內容:

  • BUCKET_NAME:在值區名稱後方加上檔案前置字串,例如 BUCKET_NAME/my-exports-folder/export-name,以便整理匯出內容。如果您未提供檔案前置字串,則受管理的匯出服務會根據目前的時間戳記建立一個。

  • DATABASE:要匯出文件的資料庫名稱。如果是預設資料庫,請使用 --database='(default)'

啟動匯出作業後,關閉終端機不會取消 作業,請參閱取消作業

匯出特定集合

Google Cloud Console

  1. 前往 Google Cloud 控制台的「Databases」頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需資料庫。

  3. 在導覽選單中,按一下「匯入/匯出」

  4. 按一下 [匯出]

  5. 按一下「匯出一或多個集合群組」選項。使用下拉式選單選取一或多個集合群組。

  6. 在「Choose Destination」下方,輸入 Cloud Storage 值區名稱 或使用「瀏覽」按鈕選取值區。

  7. 按一下 [匯出]

主控台會回到「Import/Export」頁面。如果作業成功啟動 系統隨即會在最近的匯入與匯出頁面新增項目。失敗時,頁面會顯示錯誤訊息。

gcloud

如要匯出特定集合群組,請使用 --collection-ids 標記。這項作業只會匯出含有指定集合 ID 的集合群組。集合群組包含指定集合 ID 的所有集合和子集合 (位於任何路徑)。

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1] \
--database=[DATABASE]

舉例來說,您可以在 foo 資料庫中設計 restaurants 集合,以納入多個子集合,例如 ratingsreviewsoutlets。如要匯出特定集合 restaurantsreviews,指令看起來如下 如下:

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=restaurants,reviews \
--database='cymbal'

從 PITR 時間戳記匯出

您可以使用 gcloud firestore export 指令,將資料庫從 PITR 資料匯出至 Cloud Storage。您可以匯出時間戳記為過去七天內整分鐘時間戳記的 PITR 資料,但不得早於 earliestVersionTime。如果資料不再需要 就會失敗。

PITR 匯出作業支援所有篩選器,包括匯出所有文件和匯出特定集合。

  1. 匯出資料庫,並將 snapshot-time 參數指定至所需的復原時間戳記。

    gcloud

    執行下列指令,將資料庫匯出至您的值區。

    gcloud firestore export gs://[BUCKET_NAME_PATH] \
        --snapshot-time=[PITR_TIMESTAMP] \
        --collection-ids=[COLLECTION_IDS] \
        --namespace-ids=[NAMESPACE_IDS]
    

    其中

    • PITR_TIMESTAMP:以分鐘為單位的 PITR 時間戳記,例如 2023-05-26T10:20:00.00Z

    匯出 PITR 資料前,請注意下列事項:

    • 請在 RFC 3339 中指定時間戳記 格式。 例如:2020-09-01T23:59:30.234233Z
    • 請確保您指定的時間戳記是整分鐘的時間戳記 建立在過去七天內,但並非早於 earliestVersionTime。如果指定的資料已不存在 時間戳記,就會產生錯誤。
    • 系統不會向您收取 PITR 匯出作業失敗的費用。

匯入資料

Cloud Storage 中匯出檔案後,您可以將這些檔案中的文件匯入專案或其他專案。請注意下列匯入作業事項:

  • 匯入資料時,系統會使用資料庫現行的索引定義更新必要索引。匯出項目不包含索引定義。

  • 匯入項目不會指派新的文件 ID。匯入項目會使用擷取到的 ID 匯出時間。在匯入文件時,系統會保留文件 ID,以免 ID 發生衝突。如果已存在 ID 相同的文件,匯入作業會覆寫現有文件。

  • 如果匯入作業不會影響資料庫中的文件,該文件仍會維持 加入資料庫

  • 匯入作業不會觸發 Cloud Functions。快照監聽器會接收與匯入作業相關的更新。

  • .overall_export_metadata 檔案名稱必須與其父資料夾名稱相符:

    gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

    如果移動或複製匯出內容的輸出檔案,請保留 PARENT_FOLDER_NAME.overall_export_metadata 檔案名稱 完全一樣。

從匯出作業匯入所有文件

Google Cloud Console

  1. 前往 Google Cloud 控制台的「Databases」(資料庫) 頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需的資料庫。

  3. 在導覽選單中,按一下「匯入/匯出」

  4. 按一下「匯入」

  5. 在 [檔案名稱] 欄位中,輸入 匯出完成的 .overall_export_metadata 檔案。你可以 使用「瀏覽」按鈕選取檔案。

  6. 按一下「匯入」

主控台會回到「Import/Export」頁面。如果作業成功啟動 系統隨即會在最近的匯入與匯出頁面新增項目。失敗時, 頁面就會顯示錯誤訊息

gcloud

使用 firestore import 指令從 上一個匯出作業

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]

更改下列內容:

  • BUCKET_NAME/EXPORT_PREFIX:匯出檔案的位置。

  • DATABASE:資料庫名稱。如要使用預設資料庫,請使用 --database='(default)'

例如:

gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'

您可以在 Google Cloud 控制台的 Cloud Storage 瀏覽器:

開啟 Cloud Storage 瀏覽器

開始匯入作業後,關閉終端機不會取消作業,請參閱「取消作業」。

匯入特定集合

Google Cloud Console

您無法在控制台中選取特定珍藏內容。請改用 gcloud

gcloud

如要從一組匯出檔案匯入特定集合群組,請使用 --collection-ids 標記。此作業只會匯入含有指定集合 ID 的集合群組。集合群組包含指定集合 ID 的所有集合和子集合 (位於任何路徑)。請使用 --database 旗標指定資料庫名稱。如果是預設資料庫,請使用 --database='(default)'

只有匯出特定集合群組時,系統才會支援匯入特定集合群組。無法從所有匯出項目匯入特定集合 文件。

  gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \
  --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1] \
  --database=[DATABASE]

匯入 PITR 匯出內容

按照「匯入所有文件」一文中的步驟匯入匯出的項目 資料庫如果資料庫中已有文件,系統會 覆寫。

管理匯出和匯入作業

開始匯出或匯入作業後,Cloud Firestore 會為作業指派不重複的名稱。您可以使用作業名稱刪除、取消或檢查作業狀態。

作業名稱的前置字串為 projects/[PROJECT_ID]/databases/(default)/operations/,例如:

projects/my-project/databases/(default)/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

不過,您可以在為作業名稱指定作業名稱時,省略前置字元 describecanceldelete 指令。

列出所有匯出和匯入作業

Google Cloud Console

您可以在 Google Cloud 控制台的「Import/Export」頁面中,查看最近的匯出和匯入作業清單。

  1. 前往 Google Cloud 控制台的「Databases」(資料庫) 頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需資料庫。

  3. 在導覽選單中,按一下「Import/Export」(匯入/匯出)

gcloud

使用 operations list 指令查看所有執行中的匯出和匯入作業,以及最近完成的作業:

gcloud firestore operations list

檢查作業狀態

Google Cloud Console

如要查看最近匯出或匯入作業的狀態,請前往 Google Cloud 控制台的「Import/Export」(匯入/匯出) 頁面。

  1. 前往 Google Cloud 控制台的「Databases」頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需資料庫。

  3. 在導覽選單中,按一下「Import/Export」(匯入/匯出)

gcloud

使用 operations describe 指令顯示匯出狀態 或匯入作業

gcloud firestore operations describe [OPERATION_NAME]

預估完成時間

針對長時間執行作業狀態的要求,系統會傳回 workEstimatedworkCompleted 指標。這兩個指標都會在 位元組數和實體數量:

  • workEstimated 會顯示作業將要處理的位元組總數和文件總數預估值。Cloud Firestore可能會省略這項指標 無法估算。

  • workCompleted 會顯示目前已處理的位元組數和文件數。作業完成後,這個值會顯示實際處理的位元組總數和文件總數,可能會大於 workEstimated 的值。

workCompleted 除以 workEstimated 可得出進度的粗估值。這個 可能會因為延遲的統計資料而準確 集合。

取消作業

Google Cloud Console

您可以在 Google Cloud 控制台的「Import/Export」頁面中,取消執行中的匯出或匯入作業。

  1. 前往 Google Cloud 控制台的「Databases」(資料庫) 頁面。

    前往「資料庫」

  2. 從資料庫清單中選取所需的資料庫。

  3. 在導覽選單中,按一下「Import/Export」(匯入/匯出)

在「最近的匯入和匯出作業」表格中,目前執行中的作業會在「已完成」欄中顯示「取消」按鈕。按一下 按一下「Cancel」按鈕即可停止作業。按鈕會變更為「Cancelling」訊息,然後在作業完全停止時變更為「Cancelled」

gcloud

使用 operations cancel 指令停止進行中的作業:

gcloud firestore operations cancel [OPERATION_NAME]

取消執行中的作業不會撤銷該作業。已取消匯出 這項作業會保留已在「Cloud Storage」中匯出的文件,而且「已取消」 匯入作業會保留您對資料庫所做的更新。個人中心 無法匯入部分完成的匯出作業。

刪除作業

使用 gcloud firestore operations delete 指令移除 從近期作業清單中選出一項作業。這個指令不會從 Cloud Storage 刪除匯出檔案。

gcloud firestore operations delete [OPERATION_NAME]

匯出與匯入作業的計費和定價

在使用代管匯出與匯入服務前,您需要先為您的 Google Cloud 專案啟用計費功能。

您必須支付匯出和匯入作業的費用 以下列費率計費: Cloud Firestore 定價。匯出作業會產生一次讀取作業 每項已匯出文件的作業。匯入作業每發生一次寫入作業 已匯入文件。

儲存在 Cloud Storage 中的輸出檔案,會計入您的 Cloud Storage 資料儲存空間費用

匯出和匯入作業的費用不會計入您的支出 上限。匯出或匯入作業不會觸發 Google Cloud預算快訊,完成後才會發送。同樣地,在匯出或匯入作業期間執行的讀取和寫入,將在作業完成後套用至您的每日配額。匯出與匯入 作業不會影響控制台的「用量」部分顯示的用量。

查看匯出和匯入費用

匯出和匯入作業會將 goog-firestoremanaged:exportimport 標籤套用至計費作業。在 Cloud Billing 報表頁面中,您可以使用這個標籤查看與匯入和匯出作業相關的費用:

從篩選器選單中存取 goog-firestore 管理的標籤。

匯出至 BigQuery

您可以將 Cloud Firestore 匯出中的資料載入 BigQuery, 但只有在您指定 collection-ids 篩選條件時才會發生詳情請見 Cloud Firestore 匯出內容載入資料

上限為 BigQuery

BigQuery 規定每個資料表的欄數上限為 10,000 個。Cloud Firestore 匯出作業會為每個集合群組產生 BigQuery 資料表結構定義。在此架構中, 集合群組就會成為結構定義欄

如果集合群組的「BigQuery」結構定義超過 10,000 個資料欄, 有 Cloud Firestore 項匯出作業會嘗試超出資料欄限制 將地圖欄位視為位元組來處理如果這項轉換帶來 低於 10,000 的欄數,即可將資料載入 BigQuery,但無法查詢對應欄位內的子欄位。 如果欄數依然超過 10,000 個,匯出作業就不會執行任何操作。 為集合群組產生 BigQuery 結構定義,但無法載入 將資料轉換為 BigQuery

匯出格式和中繼資料檔案

代管匯出的輸出內容會使用 LevelDB 記錄格式

中繼資料檔案

匯出作業會為每個集合群組建立中繼資料檔案 或您指定的虛擬機器中繼資料檔案名稱通常是 ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata

中繼資料檔案為通訊協定緩衝區,可透過 protoc 通訊協定編譯器進行解碼。舉例來說,您可以將中繼資料檔案解碼,藉此判斷集合群組 匯出檔案會包含下列資訊:

protoc --decode_raw < export0.export_metadata

服務代理遷移

Cloud Firestore」會使用 Cloud Firestore 服務代理來授權匯入作業 而非使用 App Engine 服務帳戶,而是執行匯出作業 服務代理和服務帳戶使用下列命名慣例:

Cloud Firestore 個服務代理
service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com

Cloud Firestore 先前使用 App Engine 預設服務帳戶,而非 Cloud Firestore 服務代理程式。如果您的資料庫 仍然會使用「App Engine」服務帳戶匯入或匯出資料 建議您按照本節的操作說明完成遷移作業 Cloud Firestore 服務代理。

App Engine 服務帳戶
PROJECT_ID@appspot.gserviceaccount.com

建議使用 Cloud Firestore 服務代理,因為其具體細節如下 至 Cloud FirestoreApp Engine 服務帳戶由多項服務共用。

查看授權帳戶

您可以前往 Google Cloud 控制台的「Import/Export」頁面,查看匯入和匯出作業使用哪個帳戶授權要求。您也可以查看資料庫是否已使用 Cloud Firestore 服務代理。

  1. 前往 Google Cloud 控制台的「Databases」頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需的資料庫。
  3. 在導覽選單中,按一下「匯入/匯出」

  4. 查看「匯入/匯出工作執行身分」標籤旁的授權帳戶。

如果專案未使用 Cloud Firestore 服務代理, 遷移至 Cloud Firestore 服務代理時,您可以使用 這些技巧:

我們建議採用第一種技術,因為能將 單一效果套用至單一 Cloud Firestore 專案不建議使用第二種方法,因為它不會遷移現有的 Cloud Storage 值區權限。不過,它會在機構層級提供安全性法規遵循功能。

檢查並更新 Cloud Storage 項值區權限,進行遷移

遷移程序分為兩個步驟:

  1. 更新 Cloud Storage 值區權限。請參閱下列章節 詳細資料。
  2. 確認遷移至 Cloud Firestore 服務代理。

服務代理值區權限

對於在其他專案中使用 Cloud Storage 值區的任何匯出或匯入作業,您必須授予該值區的 Cloud Firestore 服務代理程式權限。例如將資料移至另一個 專案必須存取該專案中的值區。否則,這些作業在遷移至 Cloud Firestore 服務代理後會失敗。

只要匯入和匯出的工作流程仍在同一個專案中,就不需要變更權限。「Cloud Firestore」服務代理可以存取 同一項專案中的預設值區

更新其他專案的 Cloud Storage 值區權限,以便授予 service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com 服務代理存取權。將 Firestore Service Agent 角色授予服務代理。

Firestore Service Agent 角色授予特定應用程式的讀取和寫入權限 Cloud Storage 個值區。您只需授予唯讀或寫入權限 權限,請使用 自訂角色

下節所述的遷移程序可協助您找出可能需要更新權限的 Cloud Storage 桶。

將專案遷移至 Firestore 服務代理人

請完成下列步驟,從 App Engine 服務帳戶遷移至 Cloud Firestore 服務代理。遷移完成後便無法復原。

  1. 前往 Google Cloud 控制台的「Databases」頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需資料庫。
  3. 在導覽選單中,按一下「Import/Export」(匯入/匯出)

  4. 如果您的專案尚未遷移至 Cloud Firestore 服務代理程式,您會看到說明遷移作業的橫幅,以及「Check Bucket Status」按鈕。下一步將協助您找出 修正潛在的權限錯誤。

    按一下「查看值區狀態」

    系統隨即會顯示選單,提供完成遷移的選項和 列出 Cloud Storage 個值區。這項作業會在幾分鐘內 即可完成載入清單

    這份清單列出最近在匯入和匯出作業中使用的值區,但目前尚未向 Cloud Firestore 服務代理人授予讀取和寫入權限。

  5. 記下專案「Cloud Firestore」的主體名稱 服務代理。服務代理名稱會顯示在 「用來授予標籤存取權的服務代理」標籤。
  6. 針對清單中您日後要用於匯入或匯出作業的任何資料集,請完成下列步驟:

    1. 在這個值區的資料表列中,按一下「修正」。 系統會在新分頁中開啟該值區的權限頁面。

    2. 按一下 [新增]。
    3. 在「New principals」欄位中輸入 Cloud Firestore 服務代理人的名稱。
    4. 在「Select a role」欄位中,依序選取「Service Agents」>「Firestore Service Agent」
    5. 按一下 [儲存]
    6. 返回含有 Cloud Firestore「匯入/匯出」頁面的分頁。
    7. 針對清單中的其他區隔重複上述步驟。請務必查看清單的所有頁面。
  7. 按一下「遷移至 Firestore 服務代理」。如果發生以下情況: 含有未通過權限檢查的值區 只要按一下「遷移」,即可確認遷移作業。

    遷移完成時,您會收到通知。遷移作業無法復原。

查看遷移狀態

如何驗證專案的遷移狀態:

  1. 前往 Google Cloud 控制台的「Databases」頁面。

    前往「資料庫」頁面

  2. 從資料庫清單中選取所需資料庫。
  3. 在導覽選單中,按一下「匯入/匯出」

  4. 在「匯入/匯出工作執行身分」標籤旁找出主體。

    如果主體為 service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com 代表您的專案已遷移至 Cloud Firestore 服務代理。遷移作業無法復原。

    如果專案尚未遷移,頁面頂端會顯示橫幅,並提供「檢查資料集狀態」按鈕。請參閱「遷移至 Firestore 服務代理人」一文,瞭解如何完成遷移作業。

新增整個機構的政策限制

  • 在貴機構的政策中設定下列限制:

    必須使用 Firestore 服務代理才能執行匯入/匯出工作 (firestore.requireP4SAforImportExport)。

    這項限制要求匯入和匯出作業使用 Cloud Firestore 服務代理來授權要求。如要設定這項限制,請參閱「建立及管理機構政策」。

套用這項機構政策限制不會自動為 Cloud Firestore 服務代理授予適當的 Cloud Storage 值區權限。

如果限制條件導致任何匯入或匯出工作流程出現權限錯誤,您可以停用該限制條件,改回使用預設服務帳戶。檢查及更新 Cloud Storage 個值區之後 權限,您可以再次啟用限制。