ייבוא וייצוא של נתונים

אתם יכולים להשתמש בשירות הייצוא והייבוא המנוהל כדי לשחזר נתונים שנמחקו בטעות, ולייצא נתונים לעיבוד אופליין. אתם יכולים לייצא את כל המסמכים או רק אוספים ספציפיים. באופן דומה, אתם יכולים לייבא את כל הנתונים מייצוא או רק אוספים ספציפיים. אפשר לייבא נתונים שיוצאו ממסד נתונים אחד של Cloud Firestore למסד נתונים אחר של Cloud Firestore. אפשר גם לטעון את נתוני הייצוא של Cloud Firestore ל-BigQuery.

בדף הזה מוסבר איך לייצא ולייבא מסמכי Cloud Firestore באמצעות שירות הייצוא והייבוא המנוהל ו-Cloud Storage. שירות הייצוא והייבוא המנוהל של Cloud Firestore זמין דרך כלי שורת הפקודה gcloud ודרך ה-API של Cloud Firestore (REST,‏ RPC).

זהירות: ייצוא נתונים מ-Cloud Firestore יגרום לפעולת קריאה אחת לכל מסמך שמיוצא. עם זאת, פעולות הקריאה האלה לא יופיעו בקטע Usage במסוף. חשוב להבין את זה לפני שמגדירים ייצוא חוזר, כדי להימנע מחיוב לא צפוי.

לפני שמתחילים

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך לבצע את המשימות הבאות:

1. מפעילים את החיוב בפרויקט ב-Google Cloud. רק בפרויקטים ב-Google Cloud שמופעל בהם חיוב אפשר להשתמש בפונקציונליות של ייצוא וייבוא.
2. יוצרים קטגוריית Cloud Storage לפרויקט במיקום שקרוב למיקום של מסד הנתונים ב-Cloud Firestore. אי אפשר להשתמש בקטגוריה שבה מופעלת התכונה "מגיש הבקשה משלם" או בקטגוריית Rapid לפעולות ייצוא וייבוא.

3. מוודאים שבחשבון יש את ההרשאות הנדרשות ל-Cloud Firestore ול-Cloud Storage. אם אתם הבעלים של הפרויקט, לחשבון שלכם יש את ההרשאות הנדרשות. אחרת, התפקידים הבאים נותנים את ההרשאות שנדרשות לפעולות ייצוא וייבוא ולגישה אל Cloud Storage:

   • ‫תפקידים ב-Cloud Firestore: Owner,‏ Cloud Datastore Owner או Cloud Datastore Import Export Admin
     הערה: התפקידים האלה ב-Datastore מעניקים גם הרשאות ב-Cloud Firestore.

   • ‫Cloud Storage תפקידים: Owner או Storage Admin

הרשאות של סוכן שירות

פעולות הייצוא והייבוא משתמשות בסוכן שירות של Cloud Firestore כדי לאשר פעולות של Cloud Storage. השם של סוכן השירות Cloud Firestore מורכב לפי המוסכמה הבאה:

סוכן שירות של Cloud Firestore

[e-mail]

למידע נוסף על סוכני שירות, קראו את המאמר סוכני שירות.

הערה: בעבר, ב-Cloud Firestore נעשה שימוש בחשבון השירות שמוגדר כברירת מחדל של App Engine במקום בסוכן השירות של Cloud Firestore. אם אתם עדיין משתמשים בחשבון השירות App Engine כדי לייבא או לייצא נתונים ממסד הנתונים, מומלץ לעבור לשימוש בסוכן השירות Cloud Firestore הספציפי לשירות. במסוף Google Cloud אפשר לראות באיזה חשבון משתמשים לפעולות הייבוא והייצוא.

אם אתם משתמשים ב-VPC Service Controls, אתם צריכים להשתמש בסוכן השירות הספציפי לשירות Cloud Firestore כדי להגן באופן מלא על פעולות הייבוא והייצוא. אי אפשר להשתמש ב-VPC Service Controls עם חשבון השירות App Engine.

סוכן השירות Cloud Firestore צריך גישה לקטגוריה Cloud Storage שמשמשת לפעולת ייצוא או ייבוא. אם הקטגוריה של Cloud Storage נמצאת באותו פרויקט כמו מסד הנתונים של Cloud Firestore, סוכן השירות של Cloud Firestore יכול לגשת לקטגוריה כברירת מחדל.

אם הקטגוריה של Cloud Storage נמצאת בפרויקט אחר, צריך לתת לסוכן השירות של Cloud Firestore גישה לקטגוריה של Cloud Storage.

הקצאת תפקידים לסוכן השירות

אפשר להשתמש בכלי שורת הפקודה gsutil כדי להקצות את אחד מהתפקידים הבאים. לדוגמה, כדי להקצות את התפקיד "אדמין של Storage" לסוכן השירות Cloud Firestore, מריצים את הפקודה הבאה:

gsutil iam ch serviceAccount:[e-mail]:roles/storage.admin \
    gs://[BUCKET_NAME]

מחליפים את PROJECT_NUMBER במספר הפרויקט, שמשמש לשם של סוכן השירות של Cloud Firestore. כדי לראות את שם סוכן השירות, קראו את המאמר הצגת שם סוכן השירות.

לחלופין, אפשר להקצות את התפקיד הזה באמצעות מסוף Google Cloud.

הצגת השם של סוכן השירות

בדף Import/Export במסוף Google Cloud אפשר לראות את החשבון שבו פעולות הייבוא והייצוא משתמשות כדי לאשר בקשות. אתם יכולים גם לראות אם מסד הנתונים משתמש בCloud Firestore או בחשבון השירות הקודם App Engine.

1. בודקים את החשבון המורשה שמופיע לצד התווית Import/Export jobs run as.

סוכן השירות צריך את התפקיד Storage Admin בקטגוריה Cloud Storage כדי להשתמש בה לפעולת הייצוא או הייבוא.

הגדרת gcloud בפרויקט

אפשר להתחיל פעולות ייבוא וייצוא דרך מסוף Google Cloud או דרך כלי שורת הפקודה gcloud. כדי להשתמש ב-gcloud, מגדירים את כלי שורת הפקודה ומתחברים לפרויקט באחת מהדרכים הבאות:

• נכנסים אל gcloud ממסוף Google Cloud באמצעות Cloud Shell.

  התחלה Cloud Shell

  מוודאים ש-gcloud מוגדר לפרויקט הנכון:

  gcloud config set project [PROJECT_ID]
  

• מתקינים ומפעילים את Google Cloud SDK.

ייבוא נתונים

אחרי שייצאתם קבצים אל Cloud Storage, אתם יכולים לייבא את המסמכים שבקבצים האלה בחזרה לפרויקט או לפרויקט אחר. חשוב לזכור את הנקודות הבאות לגבי פעולות ייבוא:

• כשמייבאים נתונים, האינדקסים הנדרשים מתעדכנים באמצעות הגדרות האינדקס הנוכחיות של מסד הנתונים. הייצוא לא מכיל הגדרות אינדקס.

• בייבוא לא מוקצים מזהי מסמכים חדשים. הייבוא מתבצע באמצעות המזהים שתועדו בזמן הייצוא. בזמן הייבוא של מסמך, המזהה שלו שמור כדי למנוע התנגשויות בין מזהים. אם כבר קיים מסמך עם אותו מזהה, הייבוא מחליף את המסמך הקיים.

• אם מסמך במסד הנתונים לא מושפע מהייבוא, הוא יישאר במסד הנתונים אחרי הייבוא.

• שם הקובץ .overall_export_metadata צריך להיות זהה לשם של תיקיית ההורה שלו:

  gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

  אם אתם מעבירים או מעתיקים את קובצי הפלט של הייצוא, הקפידו לשמור על אותו שם קובץ של PARENT_FOLDER_NAME ו-.overall_export_metadata.

• ייבוא למסד נתונים של Cloud Firestore מייצוא עם אוספי משנה נכשל, כי אוספי משנה לא נתמכים ב-Cloud Firestore.

• ייבוא למסד נתונים של Firestore Standard Edition מייצוא עם סוגי BSON נכשל, כי סוגי BSON לא נתמכים ב-Firestore Standard Edition.

• אי אפשר לייבא למסד נתונים של Cloud Firestore נתונים ממרחבי שמות שאינם ברירת המחדל (Datastore API).

  אפשר לייבא למסד נתונים של Cloud Firestore מקובצי נתונים שמכילים מרחבי שמות שאינם ברירת המחדל, רק אם פעולת הייצוא כללה מסנן --namespace-ids עם מרחב השמות שמוגדר כברירת המחדל. המערכת מייבאת רק נתונים ממרחב השמות שמוגדר כברירת מחדל.

ייבוא כל המסמכים מקובץ ייצוא

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים מסד נתונים מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על ייבוא.

5. בשדה Filename, מזינים את שם הקובץ של קובץ .overall_export_metadata מפעולת ייצוא שהושלמה. אפשר להשתמש בלחצן עיון כדי לבחור את הקובץ.

6. לוחצים על ייבוא.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה, בדף הייבוא והייצוא האחרונים נוספת רשומה. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

כדי לייבא מסמכים מפעולת ייצוא קודמת, משתמשים בפקודה firestore import.

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]

מחליפים את מה שכתוב בשדות הבאים:

• ‫BUCKET_NAME/EXPORT_PREFIX: המיקום של קובצי הייצוא.

• ‫DATABASE: שם מסד הנתונים.

לדוגמה:

gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'

אתם יכולים לאשר את המיקום של קובצי הייצוא בדפדפן Cloud Storage במסוף Google Cloud:

פתיחת דפדפן Cloud Storage

אחרי שמתחילים פעולת ייבוא, סגירת הטרמינל לא מבטלת את הפעולה. אפשר לקרוא מידע נוסף בקטע ביטול פעולה.

ייבוא אוספים ספציפיים

הערה: כדי לייבא אוספים ספציפיים, צריך להשתמש בפלט של פעולת ייצוא שבה ייצאתם אוספים ספציפיים.

Google Cloud Console

אי אפשר לבחור אוספים ספציפיים במסוף. במקום זאת, אתם צריכים להשתמש ב-gcloud.

gcloud

כדי לייבא אוספים ספציפיים מקבוצה של קובצי ייצוא, משתמשים בדגל --collection-ids. הפעולה מייבאת רק את האוספים עם מזהי האוספים שצוינו. מציינים את שם מסד הנתונים באמצעות הדגל --database.

אפשר לייבא אוספים ספציפיים רק אם מייצאים אוספים ספציפיים. אי אפשר לייבא אוספים ספציפיים מתוך ייצוא של כל המסמכים.

  gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \
  --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
  --database=[DATABASE]

ייבוא מייצוא עם נתוני PITR

כדי לייבא נתוני PITR, פועלים לפי אותם שלבים שמפורטים בקטע ייבוא כל המסמכים או ייבוא אוספים ספציפיים. אם מסמך כלשהו כבר קיים במסד הנתונים, הוא יוחלף.

ייצוא נתונים

פעולת ייצוא מעתיקה מסמכים ממסד הנתונים לקבוצת קבצים בקטגוריה של Cloud Storage. חשוב לדעת שהייצוא הוא לא תמונת מצב מדויקת של מסד הנתונים שנוצרה בשעת התחלת הייצוא. הייצוא עשוי לכלול שינויים שבוצעו בזמן שהפעולה רצה.

הערה: צריך לייצא אוספים ספציפיים אם מתכננים:

• ייבוא של אוספים ספציפיים בלבד
• טעינת נתונים מ-Cloud Firestore אל BigQuery

ייצוא כל המסמכים

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על ייצוא.

5. לוחצים על האפשרות ייצוא של כל מסד הנתונים.

6. כדי לייצא את הנתונים הנוכחיים, בוחרים באפשרות ייצוא המצב הנוכחי של מסד הנתונים.

7. בקטע Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בלחצן Browse כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה, בדף הייבוא והייצוא האחרונים נוספת רשומה. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

משתמשים בפקודה firestore export כדי לייצא את כל המסמכים במסד הנתונים, ומחליפים את [BUCKET_NAME] בשם הקטגוריה ב-Cloud Storage. מוסיפים את הדגל --async כדי למנוע מהכלי gcloud להמתין עד לסיום הפעולה.

  gcloud firestore export gs://[BUCKET_NAME] \
  --database=[DATABASE]

מחליפים את מה שכתוב בשדות הבאים:

• ‫BUCKET_NAME: ארגון הייצוא על ידי הוספת קידומת קובץ אחרי שם הקטגוריה, לדוגמה BUCKET_NAME/my-exports-folder/export-name. אם לא תציינו קידומת לקובץ, שירות הייצוא המנוהל ייצור קידומת על סמך חותמת הזמן הנוכחית.

• ‫DATABASE: שם מסד הנתונים שממנו רוצים לייצא את המסמכים.

אחרי שמתחילים פעולת ייצוא, סגירת הטרמינל לא מבטלת את הפעולה. אפשר לקרוא מידע נוסף במאמר ביטול פעולה.

ייצוא אוספים ספציפיים

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על ייצוא.

5. לוחצים על האפשרות ייצוא של קבוצת אוספים אחת או יותר. בתפריט הנפתח, בוחרים אוסף אחד או יותר.

6. כדי לייצא את הנתונים הנוכחיים, בוחרים באפשרות ייצוא המצב הנוכחי של מסד הנתונים.

7. בקטע Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בלחצן Browse כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה, בדף הייבוא והייצוא האחרונים נוספת רשומה. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

כדי לייצא אוספים ספציפיים, משתמשים בדגל --collection-ids. הפעולה מייצאת רק את האוספים עם מזהי האוספים שצוינו.

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
--database=[DATABASE]

לדוגמה, אתם יכולים לעצב אוסף restaurants במסד הנתונים foo כך שיכלול אוספים נוספים, כמו ratings,‏ reviews או outlets. כדי לייצא restaurants ו-reviews של אוסף ספציפי, הפקודה נראית כך:

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=restaurants,reviews \
--database='cymbal'

ייצוא מחותמת זמן של PITR

אתם יכולים לייצא את מסד הנתונים אל Cloud Storage מנתוני PITR. אפשר לייצא נתוני PITR שבהם חותמת הזמן היא חותמת זמן של דקה שלמה בשבעת הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, פעולת הייצוא נכשלת.

פעולת הייצוא של PITR תומכת בכל המסננים, כולל ייצוא של כל המסמכים וייצוא של אוספים ספציפיים.

לפני שמייצאים נתוני PITR, חשוב לשים לב לנקודות הבאות:

• מפעילים את PITR במסד הנתונים. אם התכונה PITR מושבתת, הייצוא בחותמת זמן של תמונת מצב נכשל, גם בחותמות זמן בשעה האחרונה אחרי earliestVersionTime. פעולת הייצוא מחזירה את השגיאה Point-in-Time Recovery must be enabled in order to execute exports at a snapshot timestamp.
• ציינו את חותמת הזמן בפורמט RFC 3339. לדוגמה, 2020-09-01T23:59:30.234233Z.
• חשוב לוודא שחותמת הזמן שציינתם היא חותמת זמן של דקה שלמה בשבעת הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, נוצרת שגיאה.
• לא תחויבו על ייצוא PITR שנכשל.

המסוף

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases
2. בוחרים מסד נתונים מרשימת מסדי הנתונים.
3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.
4. לוחצים על ייצוא.
5. מגדירים את מקור הייצוא כך שייצא את כל מסד הנתונים או רק אוספים ספציפיים.

6. בקטע Choose the state of your database to export, בוחרים באפשרות Export from an earlier point in time.

   צריך לבחור את השעה של תמונת המצב שרוצים לייצא

7. בקטע Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בלחצן Browse כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

   המסוף חוזר לדף Import/Export. אם הפעולה מתחילה, בדף הייבוא והייצוא האחרונים נוספת רשומה. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

אתם יכולים לייצא את מסד הנתונים אל Cloud Storage מנתוני PITR באמצעות הפקודה gcloud firestore export.

מייצאים את מסד הנתונים ומציינים את הפרמטר snapshot-time לחותמת זמן של שחזור. מריצים את הפקודה הבאה כדי לייצא את מסד הנתונים לקטגוריה.

gcloud firestore export gs://[BUCKET_NAME_PATH] \
    --snapshot-time=[PITR_TIMESTAMP]

כאשר PITR_TIMESTAMP היא חותמת זמן של PITR ברמת פירוט של דקות, לדוגמה, 2023-05-26T10:20:00.00Z.

מוסיפים את הדגל --collection-ids כדי לייצא אוספים ספציפיים.

ניהול פעולות ייצוא וייבוא

אחרי שמתחילים פעולת ייצוא או ייבוא, Cloud Firestore מקצה לפעולה שם ייחודי. אתם יכולים להשתמש בשם הפעולה כדי למחוק, לבטל או לבדוק את הסטטוס של הפעולה.

שמות הפעולות מתחילים בקידומת projects/[PROJECT_ID]/databases/[DATABASE_ID]/operations/, לדוגמה:

projects/my-project/databases/my-database/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

עם זאת, אפשר להשמיט את הקידומת כשמציינים שם של פעולה בפקודות describe,‏ cancel ו-delete.

הצגת רשימה של כל פעולות הייצוא והייבוא

Google Cloud Console

בדף Import/Export במסוף Google Cloud אפשר לראות רשימה של פעולות הייצוא והייבוא האחרונות.

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

gcloud

משתמשים בפקודה operations list כדי לראות את כל פעולות הייצוא והייבוא שפועלות ושהסתיימו לאחרונה:

gcloud firestore operations list

בדיקת סטטוס הפעולה

Google Cloud Console

אפשר לראות את הסטטוס של פעולת ייצוא או ייבוא שבוצעה לאחרונה בדף Import/Export במסוף Google Cloud.

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

gcloud

משתמשים בפקודה operations describe כדי להציג את הסטטוס של פעולת ייצוא או ייבוא.

gcloud firestore operations describe [OPERATION_NAME]

הערכת זמן הסיום

בקשה לסטטוס של פעולה ממושכת מחזירה את המדדים workEstimated ו-workCompleted. כל אחד מהמדדים האלה מוחזר גם במספר הבייטים וגם במספר הישויות:

• השדה workEstimated מציג את המספר הכולל המשוער של בייטים ומסמכים שפעולה תעבד. יכול להיות שהמדד הזה לא יופיע ב-Cloud Firestore אם המערכת לא יכולה ליצור אומדן.

• ‫workCompleted מציג את מספר הבייטים והמסמכים שעובדו עד עכשיו. אחרי שהפעולה מסתיימת, הערך מציג את המספר הכולל של בייטים ומסמכים שעובדו בפועל, שיכול להיות גדול מהערך של workEstimated.

כדי לקבל הערכה גסה של ההתקדמות, מחלקים את workCompleted ב-workEstimated. יכול להיות שההערכה הזו לא מדויקת, כי היא תלויה באיסוף נתונים סטטיסטיים שמתעכב.

ביטול פעולה

Google Cloud Console

אפשר לבטל פעולת ייצוא או ייבוא שפועלת בדף Import/Export במסוף Google Cloud.

1. נכנסים לדף Databases במסוף Google Cloud.

   כניסה לדף Databases

2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

בטבלה ייבוא וייצוא מהזמן האחרון, פעולות שפועלות כרגע כוללות את הלחצן ביטול בעמודה הושלם. לוחצים על הלחצן Cancel כדי להפסיק את הפעולה. הכפתור משתנה להודעה Cancelling ואז ל-Cancelled כשהפעולה נעצרת לגמרי.

gcloud

כדי לעצור פעולה שמתבצעת, משתמשים בפקודה operations cancel:

gcloud firestore operations cancel [OPERATION_NAME]

ביטול של פעולה שמתבצעת לא מבטל את הפעולה. אם תבטלו פעולת ייצוא, המסמכים שכבר יוצאו יישארו ב-Cloud Storage. אם תבטלו פעולת ייבוא, העדכונים שכבר בוצעו במסד הנתונים יישארו. אי אפשר לייבא ייצוא שהושלם באופן חלקי.

מחיקת פעולה

אפשר להשתמש בפקודה gcloud firestore operations delete כדי להסיר פעולה מרשימת הפעולות האחרונות. הפקודה הזו לא תמחק קובצי ייצוא מ-Cloud Storage.

gcloud firestore operations delete [OPERATION_NAME]

חיוב ותמחור של פעולות ייצוא וייבוא

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך להפעיל את החיוב בפרויקט ב-Google Cloud.

פעולות ייצוא וייבוא מחויבות על יחידות קריאה ויחידות כתיבה לפי התעריפים שמפורטים בתמחור של Cloud Firestore.

קובצי הפלט שמאוחסנים ב-Cloud Storage נכללים בעלויות אחסון הנתונים ב-Cloud Storage.

פעולות ייצוא או ייבוא לא יפעילו את ההתראות של תקציב Google Cloud עד לסיום הפעולות. פעולות ייצוא וייבוא לא ישפיעו על השימוש שמוצג בקטע השימוש במסוף.

צפייה בעלויות הייצוא והייבוא

פעולות הייצוא והייבוא מחילות את התווית goog-firestoremanaged:exportimport על פעולות שמחויבות. בדף דוחות החיוב ב-Cloud, אתם יכולים להשתמש בתווית הזו כדי לראות את העלויות שקשורות לפעולות הייבוא והייצוא:

הערה: פעולות ייצוא וייבוא שבוצעו לפני 8 בספטמבר 2020 לא החילו את התווית goog-firestoremanaged.

ייצוא אל BigQuery

אפשר לטעון נתונים מייצוא של Cloud Firestore אל BigQuery, אבל רק אם ציינתם מסנן collection-ids. טעינת נתונים מייצוא של Cloud Firestore

כשמעלים נתונים מ-Cloud Firestore ל-BigQuery, סוגי הנתונים של BSON מיוצגים באמצעות סוג הנתונים STRING.

מגבלה של BigQuery עמודות

ב-BigQuery יש מגבלה של 10,000 עמודות לכל טבלה. פעולות הייצוא של Cloud Firestore יוצרות סכימת טבלה ב-BigQuery לכל אוסף. בסכימה הזו, כל שם שדה ייחודי באוסף הופך לעמודה בסכימה.

אם הסכימה BigQuery של אוסף חורגת מ-10,000 עמודות, פעולת הייצוא של Cloud Firestore מנסה לא לחרוג ממגבלת העמודות על ידי התייחסות לשדות המפה כבייטים. אם ההמרה הזו מקטינה את מספר העמודות לפחות מ-10,000, אפשר לטעון את הנתונים ל-BigQuery, אבל אי אפשר לשלוח שאילתות לשדות המשנה שבתוך שדות המפה. אם מספר העמודות עדיין חורג מ-10,000, פעולת הייצוא לא יוצרת סכימת BigQuery לאוסף, ואי אפשר לטעון את הנתונים שלו ל-BigQuery.

פורמט הייצוא וקובצי המטא-נתונים

הפלט של ייצוא מנוהל משתמש בפורמט היומן של LevelDB.

קובצי מטא-נתונים

פעולת ייצוא יוצרת קובץ מטא-נתונים לכל אוסף שציינתם. בדרך כלל, קובצי מטא-נתונים נקראים ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.

קובצי המטא-נתונים הם מאגרי אחסון לפרוטוקולים, ואפשר לפענח אותם באמצעות הקומפיילר של פרוטוקול protoc. לדוגמה, אפשר לפענח קובץ מטא-נתונים כדי לזהות את האוספים שקובצי הייצוא מכילים:

protoc --decode_raw < export0.export_metadata