ניהול שמירת הנתונים באמצעות מדיניות TTL

בדף הזה נסביר איך להשתמש במסוף Google Cloud וב-Google Cloud CLI כדי להגדיר מדיניות זמן חיים (TTL). לפני שתקראו את הדף הזה, כדאי להבין את מודל הנתונים של Cloud Firestore.

סקירה כללית על זמן החיים

שימוש בכללי TTL כדי להסיר באופן אוטומטי נתונים לא עדכניים מהמסדי נתונים. מדיניות TTL מגדירה שדה נתון בתור זמן התפוגה של מסמכים בקבוצת אוספים נתונה. בעזרת TTL תוכלו למחוק נתונים לא רלוונטיים ולצמצם את עלויות האחסון. הנתונים נמחקים בדרך כלל תוך 24 שעות מתאריך התפוגה שלהם.

תמחור

פעולות מחיקה של TTL נכללות בעלויות המחיקה של המסמכים. למידע על התמחור של פעולות מחיקה, ראו תמחור של Cloud Firestore.

מגבלות ואילוצים

  • אפשר לסמן רק שדה אחד לכל קבוצת אוספים בתור שדה TTL.
  • מותר להגדיר בסך הכול 200 הגדרות ברמת השדה. הגדרת שדה אחת יכולה להכיל כמה הגדרות לאותו שדה. לדוגמה, החרגה להוספה של שדה יחיד לאינדקס ומדיניות TTL באותו שדה נספרות כהגדרה אחת של שדה במסגרת המגבלה.
  • לקוחות Firestore במצב Datastore לא יכולים להשתמש ב-TTL במצב בו-זמניות של אופטימי עם קבוצות ישויות. כדאי לשקול לשנות את סטטוס 'מצב בו-זמניות' למצב בו-זמניות אופטימיסטי.

מחיקה של TTL

חשוב לשים לב להתנהגויות העיקריות הבאות של מחיקה מבוססת-TTL:

  • המחיקה באמצעות TTL היא לא תהליך מיידי. מסמכים שפג תוקפם ממשיכים להופיע בשאילתות ובבקשות לחיפוש עד שהם נמחקים בפועל בתהליך TTL. כשמשתמשים ב-TTL, מקבלים תמורה על חשבון המהירות של המחיקה: עלות הבעלות הכוללת של המחיקה קטנה יותר. הנתונים נמחקים בדרך כלל תוך 24 שעות ממועד התפוגה שלהם.

  • מחיקת מסמך באמצעות TTL לא מוחקת את אוספי המשנה שמתחת למסמך הזה.

  • החלת מדיניות TTL על קבוצת אוספים קיימת תוביל למחיקה בכמות גדולה של כל הנתונים שפג תוקפם, בהתאם למדיניות ה-TTL החדשה. חשוב לזכור שהמחיקה בכמות גדולה לא מתבצעת באופן מיידי, והיא תלויה בכמות הנתונים שקיימים בקבוצת האוספים הזו.

  • אם למסמך יש תאריך תפוגה שחל בעבר ואתם מוסיפים ל-collection מדיניות TTL חדשה, המסמך יימחק תוך 24 שעות ממועד סיום ההגדרה של מדיניות ה-TTL והפעלתה שלה.

  • TTL לא תמיד מחק מסמכים באותו הסדר שבו חותמות הזמן שלהם פגות.

  • המחיקה לא מתבצעת באופן עסקי. מסמכים עם אותו מועד תפוגה לא נמחקים בהכרח באותו זמן. אם אתם זקוקים להתנהגות הזו, תוכלו לבצע את המחיקה באמצעות ספריית לקוח.

  • Cloud Firestore תמיד יתחשב בשדה ה-TTL העדכני ביותר כדי לקבוע את התוקף. לדוגמה, אם תאריך התפוגה של מסמך פג אבל הוא עדיין לא נמחק, והשדה TTL עודכן לתאריך מאוחר יותר, התוקף של המסמך לא יפוג והמערכת תשתמש בתאריך החדש.

  • TTL נועד לצמצם את ההשפעה על פעילויות אחרות של מסדי נתונים. מחיקה שמבוססת על TTL מקבלת עדיפות נמוכה יותר. יש לנו גם אסטרטגיות אחרות כדי למנוע עליות חדות בתנועה שנובעות מחיסומים שמבוססים על TTL.

  • מחיקה באמצעות TTL מפעילה את כל המאזינים הפעילים של קובצי snapshot ומפעילה טריגרים של Cloud Functions Cloud Firestore.

שדות ואינדיקטורים של TTL

אפשר להוסיף שדה TTL לאינדקס או לבטל את ההוספה שלו לאינדקס. עם זאת, מכיוון ששדה TTL הוא חותמת זמן, הוספת השדה לאינדקס עשויה להשפיע על הביצועים בשיעורי תנועה גבוהים יותר. הוספה של שדה חותמת זמן לאינדקס עלולה ליצור נקודות חמות, בניגוד לשיטות המומלצות. נקודות חמות הן אירועים של קריאה, כתיבת ומחיקה בתדירות גבוהה בטווח מצומצם של מסמכים.

כברירת מחדל, הפונקציה Cloud Firestore יוצרת אינדקס של שדה יחיד לכל השדות. אפשר ליצור החרגה של אינדקס בשדה יחיד כדי להשבית אינדקסים בשדה TTL.

הרשאות

לחשבון המשתמש שמגדיר מדיניות TTL נדרשת ההרשאה הבאה בפרויקט:

  • כדי להציג את כללי המדיניות של TTL נדרשות ההרשאות datastore.indexes.list ו-datastore.indexes.get.
  • כדי לשנות את כללי מדיניות ה-TTL צריך את ההרשאה datastore.indexes.update.
  • כדי לבדוק את הסטטוס של פעולות TTL, צריך את datastore.operations.list ו-datastore.operations.get.

במאמר Cloud Firestore תפקידים של ניהול זהויות והרשאות גישה מפורט מידע על התפקידים שמקצים את ההרשאות האלה.

לפני שמתחילים

לפני שמשתמשים ב-CLI של gcloud כדי לנהל מדיניות TTL, צריך להשתמש בפקודה gcloud components update כדי לעדכן את הרכיבים לגרסה האחרונה הזמינה:

gcloud components update

יצירת מדיניות TTL

כשיוצרים מדיניות TTL, מקצים שדה מסמך כמועד התפוגה של מסמכים בקבוצת אוספים.

TTL משתמש בשדה מסוים כדי לזהות מסמכים שעומדים בדרישות למחיקה. שדה ה-TTL הזה חייב להיות מסוג Date and time. אפשר לבחור שדה שכבר קיים או להקצות שדה שאתם מתכננים להוסיף מאוחר יותר.

לפני שמגדירים את הערך בשדה TTL, כדאי להביא בחשבון את הדברים הבאים:

  • הערך בשדה TTL יכול להיות זמן בעתיד, עכשיו או בעבר. אם הערך הוא זמן בעבר, המסמך יהיה מוכן למחיקה באופן מיידי. לדוגמה, אפשר ליצור מדיניות TTL עם השדה expireAt, ולאחר מכן להוסיף אותה למסמכים קיימים.

  • שימוש בסוג נתונים אחר או אי הגדרה של ערך השדה TTL משביתים את TTL במסמך הספציפי.

כדי ליצור מדיניות TTL:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הנדרש מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על משך החיים.

  4. לוחצים על Create Policy.

  5. מזינים שם לקבוצת האוספים ושם לשדה חותמת הזמן.

  6. לוחצים על יצירה.

המסוף חוזר לדף Time-to-live. אם הפעולה מתחילה בהצלחה, הדף מוסיף רשומה לטבלת כללי המדיניות של TTL. אם הפעולה נכשלת, תוצג בדף הודעת שגיאה.

gcloud

משתמשים בפקודה firestore fields ttls update כדי להגדיר מדיניות TTL. מוסיפים את הדגל --async כדי למנוע מה-CLI של gcloud להמתין לסיום הפעולה.

 gcloud firestore fields ttls update
  ttl_field --collection-group=collection_group_name
  --enable-ttl

משך ההפעלה של מדיניות TTL

גם במסד נתונים ריק, ההפעלה של מדיניות TTL יכולה להימשך עשר דקות או יותר. אחרי שמתחילים פעולה, סגירת המסוף לא מבטלת אותה.

הצגת מדיניות TTL

כדי להציג את כללי המדיניות של TTL ואת הסטטוסים שלהם, פועלים לפי השלבים הבאים:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הנדרש מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על משך החיים.

במסוף מוצגות כללי המדיניות של TTL למסד הנתונים, כולל הסטטוס של כל מדיניות.

gcloud

משתמשים בפקודה firestore fields ttls list כדי להגדיר מדיניות TTL. הפקודה הבאה מציגה רשימה של כל כללי ה-TTL.

   gcloud firestore fields ttls list

כדי לקבל רשימה של כללי TTL בקבוצת אוספים ספציפית, משתמשים בקוד הבא:

   gcloud firestore fields ttls list  --collection-group=collection_group_name

הצגת פרטי הפעולה

אפשר להשתמש ב-CLI של gcloud כדי להציג פרטים נוספים על מדיניות TTL שנמצאת במצב CREATING.

משתמשים בפקודה operations list כדי לראות את כל הפעולות שפועלות ופעולות שהושלמו לאחרונה:

gcloud firestore operations list

התשובה כוללת הערכה של התקדמות הפעולה.

השבתת מדיניות TTL

כדי להשבית מדיניות TTL:

Google Cloud Console

  1. נכנסים לדף Databases במסוף Google Cloud.

    כניסה לדף Databases

  2. בוחרים את מסד הנתונים הנדרש מרשימת מסדי הנתונים.

  3. בתפריט הניווט, לוחצים על משך החיים.

  4. בטבלה של מדיניות ה-TTL, מחפשים את השורה של מדיניות ה-TTL. בשורה הזו בטבלה, לוחצים על הלחצן Delete (פח אשפה).

  5. לוחצים על מחיקה כדי לאשר את המחיקה.

המסוף חוזר לדף Time-to-live. אם הפעולה תתבצע בהצלחה, הפונקציה Cloud Firestore תסיר את מדיניות ה-TTL מהטבלה.

gcloud

1. משתמשים בפקודה firestore fields ttls update כדי להגדיר מדיניות TTL. מוסיפים את הדגל --async כדי למנוע מה-CLI של gcloud להמתין לסיום הפעולה.

   gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --disable-ttl

מעקב אחר מחיקות של TTL

אפשר להשתמש ב-Cloud Monitoring כדי להציג מדדים לגבי מחיקה מבוססת-TTL. Cloud Firestore מספק את המדדים הבאים ל-TTL:

סוג מדד שם המדד תיאור המדד
firestore.googleapis.com/document/ttl_deletion_count מספר המחיקות של פריטים עם זמן חיים

המספר הכולל של מסמכים שנמחקו לפי מדיניות TTL.
firestore.googleapis.com/document/ttl_expiration_to_deletion_delays עיכובים בין תפוגת התוקף של משך החיים לבין המחיקה

משך הזמן שחלף מיום התפוגה של מסמך לפי מדיניות TTL ועד למועד המחיקה בפועל.

במאמרים ניהול לוח בקרה בהתאמה אישית והוספת ווידג'טים למרכז הבקרה מוסבר איך מגדירים מרכז בקרה עם מדדי Cloud Firestore.