ניהול שמירת הנתונים באמצעות מדיניות TTL

בדף הזה מוסבר איך להשתמש במסוף Google Cloud וב-Google Cloud CLI כדי להגדיר מדיניות של זמן חיים (TTL). לפני שקוראים את הדף הזה, חשוב להבין את מודל הנתונים של Cloud Firestore.

סקירה כללית של Time to live

אפשר להשתמש במדיניות TTL כדי להסיר באופן אוטומטי נתונים לא עדכניים ממסדי הנתונים. מדיניות TTL מציינת שדה מסוים כזמן התפוגה של מסמכים בקבוצת אוסף נתונה. בעזרת TTL, אפשר להקטין את עלויות האחסון על ידי ניקוי נתונים לא רלוונטיים. הנתונים נמחקים בדרך כלל תוך 24 שעות אחרי תאריך התפוגה.

תמחור

פעולות מחיקה של TTL נכללות בעלויות המחיקה של המסמכים. למידע על תמחור של פעולות מחיקה, אפשר לעיין בCloud Firestoreתמחור.

מגבלות ואילוצים

  • אפשר לסמן רק שדה אחד לכל קבוצת אוסף כשדה TTL.
  • אפשר להגדיר עד 500 הגדרות ברמת השדה. הגדרה אחת של שדה יכולה להכיל כמה הגדרות לאותו שדה. לדוגמה, אם יש לכם חריגה מאינדוקס של שדה יחיד ומדיניות TTL באותו שדה, הם נחשבים כהגדרת שדה אחת מתוך המגבלה.
  • לקוחות של Firestore במצב Datastore לא יכולים להשתמש ב-TTL עם מצב מקביליות של אופטימי עם קבוצות ישויות. כדאי לשנות את מצב הריצה למצב Optimistic concurrency mode.

מחיקה של TTL

חשוב לשים לב להתנהגויות העיקריות הבאות של מחיקה שמבוססת על TTL:

  • מחיקה באמצעות TTL היא לא תהליך מיידי. מסמכים שתוקפם פג ממשיכים להופיע בשאילתות ובבקשות חיפוש עד שתהליך ה-TTL מוחק אותם בפועל. הזמן שנדרש למחיקת עסקאות TTL לטובת צמצום עלות הבעלות הכוללת של המחיקות. הנתונים נמחקים בדרך כלל תוך 24 שעות אחרי תאריך התפוגה שלהם.

  • מחיקת מסמך באמצעות TTL לא מוחקת את אוספי המשנה שמתחת למסמך הזה.

  • החלת מדיניות TTL על קבוצת אוספים קיימת גורמת למחיקה בכמות גדולה של כל הנתונים שתוקף השימוש בהם פג, בהתאם למדיניות ה-TTL החדשה. הערה: גם מחיקה בכמות גדולה לא מתבצעת באופן מיידי, והיא תלויה בכמות הנתונים שקיימים עבור קבוצת האיסוף הזו.

  • אם למסמך יש זמן תפוגה בעבר ואתם מוסיפים מדיניות חדשה של TTL לאוסף, המסמך יימחק תוך 24 שעות מסיום ההגדרה של מדיניות ה-TTL והפיכתה לפעילה.

  • המסמכים לא נמחקים בהכרח לפי סדר התפוגה של חותמות הזמן שלהם.

  • המחיקות לא מתבצעות באופן טרנזקציונלי. מסמכים עם אותו מועד תפוגה לא בהכרח נמחקים באותו זמן. אם אתם רוצים שהמערכת תתנהג כך, תצטרכו לבצע את המחיקות באמצעות ספריית לקוח.

  • ‫Cloud Firestore תמיד יתייחס לשדה ה-TTL העדכני ביותר כדי לקבוע את תאריך התפוגה. לדוגמה, אם תוקף של מסמך פג אבל הוא עדיין לא נמחק, ואתם מעדכנים את השדה TTL לתאריך מאוחר יותר, התוקף של המסמך לא יפוג והתאריך החדש ישמש כנקודת הסיום.

  • ‫Cloud Firestore יגרום לפקיעת התוקף של מסמך רק אם השדה TTL מוגדר לסוג Date and time. אם לא מציינים ערך בשדה או מגדירים ערך כמו null אפשר להשבית את התפוגה על בסיס כל מסמך בנפרד.

  • ה-TTL נועד לצמצם את ההשפעה על פעילויות אחרות במסד הנתונים. מחיקות שמבוססות על TTL מקבלות עדיפות נמוכה יותר. יש גם אסטרטגיות אחרות שמטרתן למתן את העליות החדות בתנועה שנגרמות ממחיקות שמבוססות על TTL.

  • מחיקה באמצעות TTL מפעילה את כל מאזיני התמונות הפעילים ומפעילה טריגרים של Cloud Functions Cloud Firestore.

שדות ואינדקסים של TTL

אפשר להוסיף לאינדקס או להסיר מהאינדקס שדה TTL. עם זאת, מכיוון ששדה ה-TTL הוא חותמת זמן, יצירת אינדקס לשדה יכולה להשפיע על הביצועים בשיעורי תנועה גבוהים יותר. יצירת אינדקס של שדה חותמת זמן עלולה ליצור נקודות חמות, וזה לא מומלץ. נקודות חמות הן אזורים במסמך שמתבצעות בהם פעולות קריאה, כתיבה ומחיקה בתדירות גבוהה.

כברירת מחדל, הפקודה Cloud Firestore יוצרת אינדקס של שדה יחיד לכל השדות. אפשר ליצור פטור מאינדקס בשדה יחיד כדי להשבית אינדקסים בשדה TTL.

הרשאות

לחשבון המשתמש שמגדיר מדיניות TTL נדרשת ההרשאה הבאה בפרויקט:

  • כדי לראות את מדיניות ה-TTL צריך את ההרשאות datastore.indexes.list ו-datastore.indexes.get.
  • כדי לשנות מדיניות TTL צריך את ההרשאה datastore.indexes.update.
  • כדי לבדוק את הסטטוס של פעולות TTL, צריך הרשאות datastore.operations.list ו-datastore.operations.get.

במאמר Cloud Firestore תפקידים בניהול זהויות והרשאות גישה מפורטים התפקידים שמקצים את ההרשאות האלה.

לפני שמתחילים

לפני שמשתמשים ב-CLI של gcloud כדי לנהל מדיניות TTL, משתמשים בפקודה gcloud components update כדי לעדכן את הרכיבים לגרסה האחרונה שזמינה:

gcloud components update

יצירת מדיניות TTL

כשיוצרים מדיניות TTL, מציינים שדה מסמך כזמן התפוגה של מסמכים בקבוצת אוספים.

התכונה TTL משתמשת בשדה שצוין כדי לזהות מסמכים שעומדים בדרישות למחיקה. השדה הזה של TTL חייב להיות מסוג Date and time. אפשר לבחור שדה שכבר קיים או להגדיר שדה שמתכננים להוסיף בהמשך.

לפני שמגדירים את הערך בשדה TTL, כדאי לקחת בחשבון את הנקודות הבאות:

  • הערך בשדה TTL יכול להיות זמן בעתיד, עכשיו או בעבר. אם הערך הוא זמן בעבר, המסמך יהיה זמין למחיקה באופן מיידי. לדוגמה, אפשר ליצור מדיניות TTL עם השדה expireAt, ואז להוסיף אותה למסמכים קיימים.

  • שימוש בסוג נתונים אחר או אי-הגדרה של ערך השדה TTL ישביתו את ה-TTL עבור המסמך הספציפי.

כדי ליצור מדיניות TTL, פועלים לפי השלבים הבאים:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על Time-to-live (זמן החיים).

  4. לוחצים על יצירת מדיניות.

  5. מזינים שם לקבוצת האוספים ושם של שדה חותמת זמן.

  6. לוחצים על יצירה.

המסוף חוזר לדף Time-to-live. אם הפעולה מתחילה בהצלחה, נוסף לדף רשומה בטבלה של מדיניות ה-TTL. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

משתמשים בפקודה firestore fields ttls update כדי להגדיר מדיניות TTL. מוסיפים את הדגל --async כדי למנוע מה-CLI של gcloud להמתין לסיום הפעולה.

 gcloud firestore fields ttls update
  ttl_field --collection-group=collection_group_name
  --enable-ttl

משך הזמן שבו מדיניות ה-TTL מופעלת

גם במסד נתונים ריק, הפעלת מדיניות TTL יכולה להימשך עשר דקות או יותר. אחרי שמתחילים פעולה, סגירת הטרמינל לא מבטלת את הפעולה.

צפייה במדיניות בנושא TTL

כדי לראות את מדיניות ה-TTL והסטטוס שלה:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על Time-to-live (זמן החיים).

במסוף מופיעות מדיניות ה-TTL של מסד הנתונים, וגם הסטטוס של כל מדיניות.

gcloud

משתמשים בפקודה firestore fields ttls list כדי להגדיר מדיניות TTL. הפקודה הבאה מציגה רשימה של כל מדיניות ה-TTL.

   gcloud firestore fields ttls list

כדי להציג רשימה של כללי מדיניות של TTL בקבוצת אוסף ספציפית, משתמשים בפקודה הבאה:

   gcloud firestore fields ttls list  --collection-group=collection_group_name

צפייה בפרטי הפעולה

אפשר להשתמש ב-CLI של gcloud כדי לראות פרטים נוספים על מדיניות TTL שנמצאת במצב CREATING.

משתמשים בפקודה operations list כדי לראות את כל הפעולות שפועלות ואת הפעולות שהושלמו לאחרונה:

gcloud firestore operations list

התשובה כוללת הערכה של התקדמות הפעולה.

השבתת מדיניות בנושא TTL

כדי להשבית מדיניות TTL, מבצעים את השלבים הבאים:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על Time-to-live (זמן החיים).

  4. בטבלת מדיניות ה-TTL, מחפשים את השורה של מדיניות ה-TTL. בשורה הזו בטבלה, לוחצים על הלחצן מחיקה (סמל פח האשפה).

  5. לוחצים על מחיקה כדי לאשר את הפעולה.

המסוף חוזר לדף Time-to-live. אם הפעולה מצליחה, ‫Cloud Firestore מסיר את מדיניות ה-TTL מהטבלה.

gcloud

1. משתמשים בפקודה firestore fields ttls update כדי להגדיר מדיניות TTL. מוסיפים את הדגל --async כדי למנוע מה-CLI של gcloud להמתין לסיום הפעולה.

   gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --disable-ttl

מעקב אחרי מחיקות של TTL

אפשר להשתמש ב-Cloud Monitoring כדי להציג מדדים לגבי מחיקות שמבוססות על TTL. ‫Cloud Firestore מספק את המדדים הבאים לגבי TTL:

סוג מדד שם המדד תיאור המדד
firestore.googleapis.com/document/ttl_deletion_count מספר הפריטים שנמחקו בגלל זמן החיים

המספר הכולל של מסמכים שנמחקו על ידי מדיניות TTL.
firestore.googleapis.com/document/ttl_expiration_to_deletion_delays עיכובים במחיקה בגלל תפוגת תוקף (TTL)

הזמן שחלף בין מועד התפוגה של מסמך במסגרת מדיניות TTL לבין מועד המחיקה בפועל.

כדי להגדיר לוח בקרה עם Cloud Firestore מדדים, אפשר לעיין במאמרים ניהול לוחות בקרה בהתאמה אישית והוספת ווידג'טים ללוח הבקרה.