ייצוא נתונים מ-Firebase ל-BigQuery

במסוף Firebase יש כלים של Firebase שמאפשרים לעיין בנתונים ההיסטוריים של האפליקציות שמשתמשות במוצרי Firebase ולנתח אותם. הכלים האלה יכולים לעזור לכם לענות על הרבה שאלות לגבי אופן השימוש באפליקציות שלכם. אבל לפעמים אתם רוצים להגדיר שאילתות משלכם כדי לענות על שאלות משלכם.

כדי לעשות את זה, אתם יכולים לייצא נתונים ממוצרי Firebase שונים אל BigQuery. באמצעות BigQuery, אתם יכולים לנתח את הנתונים באמצעות BigQuery SQL או לייצא את הנתונים כדי להשתמש בהם בכלים משלכם.

המוצרים הבאים תומכים בייצוא נתונים אל BigQuery:

הרשאות נדרשות ותפקידים מומלצים

כדי לראות או לנהל את ההגדרות של ייצוא הנתונים ל-BigQuery, אתם צריכים את רמת הגישה הנדרשת.

אם אין לכם את הרשאת הגישה הנדרשת ל-Firebase, אתם יכולים לבקש מ-Project Owner של פרויקט ב-Firebase להקצות לכם את התפקיד הרלוונטי דרך הגדרות ה-IAM במסוף Firebase. אם יש לכם שאלות לגבי הגישה לפרויקט ב-Firebase, כולל איך למצוא או להקצות בעלים, עיינו בשאלות הנפוצות בנושא הרשאות וגישה לפרויקטים ב-Firebase.


הגדרת ייצוא אל BigQuery

  1. נכנסים למסוף Firebase ובוחרים את הפרויקט.

  2. עוברים אל הכרטיסייה Integrations (שילובים) > Settings (הגדרות).

  3. בכרטיס של BigQuery, לוחצים על קישור.

  4. פועלים לפי ההוראות במסך כדי להגדיר את הייצוא אל BigQuery.

ביטול הקישור אל BigQuery גורם להפסקת המילוי של מערכי הנתונים התואמים ב-BigQuery.

חשוב לשים לב לנקודות הבאות:

  • כל הנתונים שכבר יוצאו אל BigQuery יישמרו למשך זמן השמירה המותר, ועדיין יכול להיות שתחויבו על אחסון ועל שאילתות. כדי למנוע חיוב נוסף, אתם יכולים למחוק ידנית את מערכי הנתונים.

  • אם יש לכם נתונים של BigQuery שמאוחסנים בשירותים אחרים, יכול להיות שהם כפופים לתנאים אחרים של שמירת נתונים.

אתם יכולים לבטל את הקישור ל-BigQuery ברמת הפרויקט ב-Firebase, ברמת המוצר או ברמת האפליקציה למוצר ספציפי.

כך מבטלים את הקישור אל BigQuery:

  1. במסוף Firebase, עוברים אל הכרטיסייה הגדרות > שילובים.

  2. בכרטיס BigQuery, לוחצים על ניהול.

  3. בוחרים אם לבטל את הקישור של מוצר ספציפי או של אפליקציות ספציפיות למוצר ספציפי.

    כדי לבטל את הקישור של פרויקט Firebase לגמרי, צריך ללחוץ על הכפתור בתחתית הדף.

  4. כשמופיעה בקשת אישור, מאשרים שרוצים להפסיק את הייצוא.


מה קורה כשמפעילים את הייצוא?

  • בוחרים את המיקום של קבוצת הנתונים. אי אפשר לשנות את המיקום אחרי שיוצרים את קבוצת הנתונים, אבל אפשר להעתיק את קבוצת הנתונים למיקום אחר או להעביר ידנית את קבוצת הנתונים למיקום אחר (ליצור אותה מחדש). למידע נוסף, קראו את המאמר שינוי המיקום של ייצוא קיים.

    המיקום הזה רלוונטי רק לנתונים שמיוצאים אל BigQuery, והוא לא משפיע על המיקום של הנתונים שמאוחסנים לשימוש במסוף Firebase.

  • כברירת מחדל, כל האפליקציות בפרויקט מקושרות אל BigQuery וכל האפליקציות שתוסיפו לפרויקט במועד מאוחר יותר יקושרו באופן אוטומטי אל BigQuery. אתם יכולים לקבוע אילו אפליקציות ישלחו נתונים.

  • מערכת Firebase מייצאת עותק של הנתונים הקיימים אל BigQuery. ההפצה הראשונית של הנתונים לייצוא יכולה להימשך עד 48 שעות.

  • מערכת Firebase מגדירה סנכרונים יומיים של הנתונים שלכם אל BigQuery.

    • אחרי שמקשרים את הפרויקט, בדרך כלל צריך לחכות עד לסנכרון של היום הבא כדי שקבוצת הנתונים הראשונה תיוצא אל BigQuery.

    • הסנכרון היומי מתבצע פעם ביום, בלי קשר לייצוא המתוזמן שהגדרתם ב-BigQuery. חשוב לזכור שהתזמון ומשך הזמן של משימת הסנכרון יכולים להשתנות, ולכן לא מומלץ לתזמן פעולות או משימות במורד הזרם על סמך תזמון ספציפי של הייצוא.


שינוי המיקום של ייצוא קיים

אחרי שמגדירים מוצר לייצוא אל BigQuery ויוצרים קבוצת נתונים, אי אפשר לשנות את המיקום של קבוצת הנתונים הזו. עם זאת, אתם יכולים להעתיק את קבוצת הנתונים הקיימת למערך נתונים חדש במיקום אחר, ולאפס את ייצוא הנתונים למיקום החדש. מידע על מיקומי מערכי נתונים ב-BigQuery

בוחרים את המוצר שרוצים לשנות את המיקום של ייצוא הנתונים שלו

Google Analytics

כדי לשנות את המיקום של ייצוא קיים של Google Analytics אל BigQuery, פועלים לפי ההוראות הבאות:

  1. במסוף Firebase, עוברים אל הכרטיסייה הגדרות > שילובים. לאחר מכן מבצעים את הפעולות הבאות:

    1. בכרטיס BigQuery, לוחצים על ניהול.
    2. כדי להשבית את BigQuery, מעבירים את פס ההזזה של Google Analytics למצב מושבת.

  2. נכנסים לדף BigQuery במסוף Google Cloud. לאחר מכן מבצעים את הפעולות הבאות:

    1. יוצרים מערך נתונים זמני כדי לאחסן עותק של הנתונים הקיימים ממערך הנתונים המקורי. נותנים למערך הנתונים הזמני שם שונה מהשם של מערך הנתונים המקורי.
    2. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים המקורית לקבוצת הנתונים הזמנית.
    3. מוחקים את קבוצת הנתונים המקורית.
    4. יוצרים מערך נתונים חדש וקבוע עם אותו שם כמו של מערך הנתונים המקורי (analytics_ANALYTICS_PROPERTY_ID), ובוחרים את האזור החדש.
    5. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים הזמנית לקבוצת הנתונים החדשה, ואז מוחקים את קבוצת הנתונים הזמנית.

  3. חוזרים למסוף Firebase ולכרטיס BigQuery. לאחר מכן מבצעים את הפעולות הבאות:

    1. מפעילים את המתג של Google Analytics כדי להפעיל מחדש את השילוב של BigQuery.
    2. בוחרים את האפליקציות שרוצים להפעיל בהן את הייצוא.

העברת הודעות בענן

כדי לשנות את המיקום של ייצוא קיים של Cloud Messaging אל BigQuery, פועלים לפי ההוראות הבאות:

  1. במסוף Firebase, עוברים אל הכרטיסייה הגדרות > שילובים. לאחר מכן מבצעים את הפעולות הבאות:

    1. בכרטיס BigQuery, לוחצים על ניהול.
    2. כדי להשבית את BigQuery, מעבירים את פס ההזזה של Cloud Messaging למצב מושבת.

  2. נכנסים לדף BigQuery במסוף Google Cloud. לאחר מכן מבצעים את הפעולות הבאות:

    1. יוצרים מערך נתונים זמני כדי לאחסן עותק של הנתונים הקיימים ממערך הנתונים המקורי. נותנים למערך הנתונים הזמני שם שונה מהשם של מערך הנתונים המקורי.
    2. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים המקורית לקבוצת הנתונים הזמנית.
    3. מוחקים את קבוצת הנתונים המקורית.
    4. יוצרים מערך נתונים קבוע חדש עם אותו שם כמו של מערך הנתונים המקורי (firebase_messaging), ובוחרים את האזור החדש.
    5. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים הזמנית לקבוצת הנתונים החדשה, ואז מוחקים את קבוצת הנתונים הזמנית.

  3. חוזרים למסוף Firebase ולכרטיס BigQuery. לאחר מכן מבצעים את הפעולות הבאות:

    1. מפעילים את המתג של Cloud Messaging כדי להפעיל מחדש את השילוב של BigQuery.
    2. בוחרים את האפליקציות שרוצים להפעיל בהן את הייצוא.

  4. חוזרים למסוף Google Cloud ולדף BigQuery כדי לוודא שנוצרו הגדרות העברה של Cloud Messaging באזור החדש.

Crashlytics

כדי לשנות את המיקום של ייצוא קיים של Crashlytics אל BigQuery, פועלים לפי ההוראות הבאות:

  1. במסוף Firebase, עוברים אל הכרטיסייה הגדרות > שילובים. לאחר מכן מבצעים את הפעולות הבאות:

    1. בכרטיס BigQuery, לוחצים על ניהול.
    2. כדי להשבית את BigQuery, מעבירים את פס ההזזה של Crashlytics למצב מושבת.

  2. נכנסים לדף BigQuery במסוף Google Cloud. לאחר מכן מבצעים את הפעולות הבאות:

    1. יוצרים מערך נתונים זמני כדי לאחסן עותק של הנתונים הקיימים ממערך הנתונים המקורי. נותנים למערך הנתונים הזמני שם שונה מהשם של מערך הנתונים המקורי.
    2. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים המקורית לקבוצת הנתונים הזמנית.
    3. מוחקים את קבוצת הנתונים המקורית.
    4. יוצרים מערך נתונים קבוע חדש עם אותו שם כמו של מערך הנתונים המקורי (firebase_crashlytics), ובוחרים את האזור החדש.
    5. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים הזמנית לקבוצת הנתונים החדשה, ואז מוחקים את קבוצת הנתונים הזמנית.

  3. חוזרים למסוף Firebase ולכרטיס BigQuery. לאחר מכן מבצעים את הפעולות הבאות:

    1. מפעילים את המתג של Crashlytics כדי להפעיל מחדש את השילוב של BigQuery.
    2. בוחרים את האפליקציות שרוצים להפעיל בהן את הייצוא.

  4. חוזרים למסוף Google Cloud ולדף BigQuery כדי לוודא שנוצרו הגדרות העברה של Crashlytics באזור החדש.

מעקב אחר ביצועים

כדי לשנות את המיקום של ייצוא קיים של Performance Monitoring אל BigQuery, פועלים לפי ההוראות הבאות:

  1. במסוף Firebase, עוברים אל הכרטיסייה הגדרות > שילובים. לאחר מכן מבצעים את הפעולות הבאות:

    1. בכרטיס BigQuery, לוחצים על ניהול.
    2. כדי להשבית את BigQuery, מעבירים את פס ההזזה של Performance Monitoring למצב מושבת.

  2. נכנסים לדף BigQuery במסוף Google Cloud. לאחר מכן מבצעים את הפעולות הבאות:

    1. יוצרים מערך נתונים זמני כדי לאחסן עותק של הנתונים הקיימים ממערך הנתונים המקורי. נותנים למערך הנתונים הזמני שם שונה מהשם של מערך הנתונים המקורי.
    2. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים המקורית לקבוצת הנתונים הזמנית.
    3. מוחקים את קבוצת הנתונים המקורית.
    4. יוצרים מערך נתונים קבוע חדש עם אותו שם כמו של מערך הנתונים המקורי (firebase_performance), ובוחרים את האזור החדש.
    5. מעתיקים או מעבירים את הנתונים מקבוצת הנתונים הזמנית לקבוצת הנתונים החדשה, ואז מוחקים את קבוצת הנתונים הזמנית.

  3. חוזרים למסוף Firebase ולכרטיס BigQuery. לאחר מכן מבצעים את הפעולות הבאות:

    1. מפעילים את המתג של Performance Monitoring כדי להפעיל מחדש את השילוב של BigQuery.
    2. בוחרים את האפליקציות שרוצים להפעיל בהן את הייצוא.

  4. חוזרים למסוף Google Cloud ולדף BigQuery כדי לוודא שנוצרו הגדרות העברה של Performance Monitoring באזור החדש.


תמחור וארגז החול של BigQuery

אם הפרויקט שלכם ב-Firebase נמצא בתוכנית התמחור Spark ללא עלות, אתם יכולים להשתמש בארגז החול של BigQuery, שמאפשר גישה לתקופת ניסיון בחינם ל-BigQuery. למידע נוסף על ארגז החול של BigQuery ועל היכולות שלו, קראו את המאמר שימוש בארגז החול של BigQuery.

אם הפרויקט שלכם ב-Firebase הוא בתוכנית התמחור Blaze בתשלום לפי שימוש, אתם יכולים להשתמש בכל התכונות של BigQuery. השימוש ב-BigQuery כפוף לתמחור של BigQuery, שכולל שימוש מוגבל ללא עלות.