דף זה תורגם על ידי Cloud Translation API.

אימון מודל לתיוג תמונות באמצעות AutoML Vision Edge

כדי לאמן מודל לתיוג תמונות, צריך לספק ל-AutoML Vision Edge קבוצה של תמונות ותוויות תואמות. מערכת AutoML Vision Edge משתמשת במערך הנתונים הזה כדי לאמן מודל חדש בענן, שאפשר להשתמש בו כדי להוסיף תוויות לתמונות במכשיר אפליקציה. (בסקירה הכללית יש מידע כללי על תכונה זו).

AutoML Vision Edge הוא שירות של Google Cloud. השימוש בשירות כפוף להסכם הרישיון של Google Cloud Platform ולתנאים הספציפיים לשירות, והחיוב מתבצע בהתאם. מידע על החיוב זמין במאמר AutoML תמחור הדף הזה.

לפני שמתחילים

אם עדיין אין לך פרויקט ב-Firebase או ב-Google Cloud, צריך ליצור פרויקט ב במסוף Firebase.
מומלץ לעיין בהנחיות שמפורטות במדריך בנושא למידת מכונה כוללת – AutoML.
אם אתם רק רוצים לנסות את AutoML Vision Edge ואין לכם הכשרה משלכם מורידים מערך נתונים לדוגמה, כמו אחד מהסוגים הבאים:
- מערך הנתונים הרשמי של TensorFlow לדוגמה לתמונות של פרחים
- קבוצת הנתונים של האלפבית בשפת הסימנים האמריקאית (ASL)
תוכלו למצוא מערכי נתונים נוספים שמתארחים ב-Kaggle.

1. מרכיבים את נתוני האימון

קודם כול צריך להרכיב מערך נתונים לאימון של תמונות מתויגים. חשוב לזכור את ההנחיות הבאות:

התמונות צריכות להיות באחד מהפורמטים הבאים: JPEG,‏ PNG,‏ GIF,‏ BMP,‏ ICO.
כל תמונה חייבת להיות בגודל של עד 30MB. הערה: הקטנת הרזולוציה של AutoML Vision Edge את רוב התמונות במהלך עיבוד ההכנה, כך שבאופן כללי אין השפעה על מידת הדיוק לספק תמונות ברזולוציה גבוהה מאוד.
מומלץ לכלול לפחות 10 דוגמאות לכל תווית, ועדיף 100 דוגמאות או יותר.
מומלץ לכלול כמה זוויות, רזולוציות ורקעים לכל תווית.
נתוני האימון צריכים להיות דומים ככל האפשר לנתונים שעליהם מבוססות התחזיות. לדוגמה, אם תרחיש לדוגמה שלכם כולל תמונות מטושטשות ברזולוציה נמוכה (למשל, ממצלמת אבטחה), נתוני האימון צריכים להיות מורכבים מתמונות מטושטשות ברזולוציה נמוכה.
המודלים שנוצרו על ידי AutoML Vision Edge מותאמים לצילומים של לאובייקטים בעולם האמיתי. ייתכן שהם לא יעבדו טוב עם צילומי רנטגן, ציורים ביד מסמכים סרוקים, קבלות וכו'.

בנוסף, בדרך כלל המודלים לא יכולים לחזות תוויות שאנשים לא יכולים להקצות. לכן, אם אדם לא יכול להקצות תוויות על ידי התבוננות בתמונה למשך שנייה או שתיים, סביר להניח שלא ניתן לאמן את המודל לעשות זאת גם כן.

כשתמונות האימון יהיו מוכנות, תצטרכו להכין אותן לייבוא ל-Firebase. יש לך שלוש אפשרויות:

אפשרות 1: ארכיון ZIP מובנה

כדאי לארגן את קובצי האימון בתיקיות, ולתת לכל תיקייה שם של תווית, כך שהתמונות בתיקייה יהיו דוגמאות לתווית הזו. לאחר מכן לדחוס את הספרייה את המבנה בתוך ארכיון ZIP.

שמות הספריות בארכיון ZIP הזה יכולים להיות באורך של עד 32 תווי ASCII והוא יכול לכלול רק תווים אלפאנומריים ותו הקו התחתון (_).

לדוגמה:

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

אפשרות 2: Cloud Storage עם אינדקס CSV

מעלים את תמונות האימון אל Google Cloud Storage ולהכין קובץ CSV שבו מפורטים כתובת ה-URL של כל תמונה, ואם רוצים, גם את את התוויות הנכונות לכל תמונה. האפשרות הזאת מועילה כשמשתמשים במודלים גדולים מאוד של מערכי נתונים.

לדוגמה, מעלים את התמונות אל Cloud Storage ומכינים קובץ CSV כמו זה:

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

התמונות צריכות להיות מאוחסנות בקטגוריה (bucket) שנכללת בפרויקט Google Cloud התואם של פרויקט Firebase.

מידע נוסף על הכנת קובץ ה-CSV זמין במאמר הכנת נתוני האימון במסמכי העזרה של Cloud AutoML Vision.

אפשרות 3: תמונות ללא תווית

צריך להוסיף תוויות לתמונות האימון במסוף Firebase אחרי שמעלים אותן, בנפרד או בקובץ ZIP לא מובנה. יש הסבר בשלב הבא.

2. אימון המודל

בשלב הבא, מארגנים אימון של מודל באמצעות התמונות:

פותחים את Vision Datasets. במסוף Google Cloud. בוחרים את הפרויקט הרצוי כשמופיעה הבקשה.
לוחצים על New dataset (מערך נתונים חדש), נותנים שם למערך הנתונים ובוחרים את הסוג שלו. של המודל שרוצים לאמן, ולוחצים על Create dataset.
בכרטיסייה ייבוא של מערך הנתונים, מעלים ארכיון ZIP של תמונות אימון או קובץ CSV שמכיל את המיקומים של Cloud Storage העלו אותן אל איך אוספים את נתוני האימון
אחרי שמסיימים את משימת הייבוא, משתמשים בכרטיסייה תמונות כדי לאמת את נתוני האימון ולתייג תמונות ללא תוויות.

בכרטיסייה אימון, לוחצים על התחלת האימון.

נותנים שם למודל ובוחרים את סוג המודל Edge.

קביעת הגדרות האימון הבאות, שקובעות את הביצועים של המודל שנוצר:

אופטימיזציה של המודל לצורך...

ההגדרות האישיות של המודל שבו צריך להשתמש. אפשר לאמן מודלים מהירים וקטנים יותר כשחשובים זמן אחזור קצר או חבילות קטנות, או מודלים איטיים וגדולים יותר כשהדיוק הוא הדבר החשוב ביותר.

תקציב לשעה של צומת

משך הזמן המקסימלי, בשעות מחשוב, להדרכת המודל. בדרך כלל, ככל שמשך האימון ארוך יותר, המודל יהיה מדויק יותר.

לתשומת ליבכם: האימון עשוי להסתיים תוך פחות מהזמן שצוין אם המערכת קובעת שהמודל עבר אופטימיזציה ושאימון נוסף לא ישפר את הדיוק. החיוב שלך בוצע רק לשעות שבהן נעשה שימוש בפועל.

זמני הדרכה אופייניים
קבוצות קטנות מאוד	שעה אחת
500 תמונות	שעתיים
1,000 תמונות	3 שעות
5,000 תמונות	6 שעות
10,000 תמונות	7 שעות
50,000 תמונות	11 שעות
100,000 תמונות	13 שעות
1,000,000 תמונות	18 שעות

3. הערכת המודל

בסיום האימון, אפשר ללחוץ על הכרטיסייה הערכה כדי לראות את מדדי הביצועים של המודל.

אחד השימושים החשובים בדף הזה הוא לקבוע את סף הסמך שפועל שהכי מתאימים למודל שלכם. סף הסמך הוא הביטחון המינימלי שהמודל כדי להקצות תווית לתמונה. כשמזיזים את פס ההזזה של Confidence threshold, אפשר לראות איך ערכי סף שונים משפיעים על ביצועי המודל. ביצועי המודל נמדדים באמצעות שני מדדים: דיוק ואחזור.

בהקשר של סיווג תמונות, הדיוק הוא היחס בין מספר התמונות שסומנו בצורה נכונה לבין מספר התמונות שהמודל סימן בהתאם לסף שנבחר. כאשר לדגם יש רמת דיוק גבוהה, הוא מקצה תוויות באופן שגוי בתדירות נמוכה יותר (פחות תוצאות חיוביות שגויות).

אחזור הוא היחס בין מספר התמונות שתויגו בצורה נכונה מספר התמונות שמכילות תוכן שהמודל היה אמור להיות מסוגל להן לתייג. כאשר למודלים יש רמת זיכרון גבוהה, הם לא מקצים תווית לפחות מקרים (פחות תוצאות שליליות שגויות).

האפשרות לבצע אופטימיזציה להשגת דיוק או ריקול תלויה בתרחיש לדוגמה שלכם. צפייה AutoML Vision Plannings' המדריך מדריך כוללני ללמידת מכונה – AutoML מידע נוסף.

כשתמצאו סף סמך שמפיק מדדים שאתם מרגישים בנוח איתם, שימו לב לזה, תשתמשו בסף הסמך כדי להגדיר את המודל אפליקציה. (אפשר להשתמש בכלי הזה בכל שלב כדי לקבל את ערך הסף המתאים).

4. פרסום או הורדה של המודל

אם אתם מרוצים מהביצועים של המודל ואתם רוצים להשתמש בו באפליקציה, יש לכם שלוש אפשרויות, שתוכלו לבחור כל שילוב מהן: לפרוס את המודל לחיזוי אונליין, לפרסם את המודל ב-Firebase או להוריד את המודל ולצרף אותו לאפליקציה.

פריסת המודל

בכרטיסייה Test & use של מערך הנתונים, אפשר לפרוס את המודל לחיזוי אונליין, שבו המודל פועל בענן. לאפשרות הזו מפורט מסמכי העזרה של Cloud AutoML. המסמכים באתר הזה מטפלים בשתי האפשרויות הנותרות.

פרסום המודל

פרסום המודל ב-Firebase מאפשר לכם לעדכן את המודל בלי להשיק גרסה חדשה של האפליקציה, ולהשתמש ב-Remote Config וב-A/B Testing כדי להציג מודלים שונים באופן דינמי לקבוצות שונות של משתמשים.

אם בוחרים לספק את המודל רק על ידי אירוח שלו ב-Firebase, ולא לחבר אותו לחבילה של האפליקציה, אפשר לצמצם את גודל ההורדה הראשוני של האפליקציה. עם זאת, חשוב לזכור שאם המודל לא מצורף לחבילה של האפליקציה, כל הפונקציונליות שקשורה למודל לא תהיה זמינה עד שהאפליקציה תוריד את המודל בפעם הראשונה.

כדי לפרסם את המודל, אפשר להשתמש באחת משתי השיטות הבאות:

מורידים את מודל ה-TF Lite מהדף Test & use של מערך הנתונים במסוף Google Cloud, ולאחר מכן מעלים את המודל לדף Custom model במסוף Firebase. בדרך כלל הדרך הקלה ביותר לפרסם מודל יחיד.
פרסום המודל ישירות מפרויקט Google Cloud ב-Firebase באמצעות על ה-Admin SDK. אפשר להשתמש בשיטה הזאת כדי לפרסם באצווה מספר מודלים או כדי עזרה ביצירת צינורות עיבוד נתונים לפרסום אוטומטי.

כדי לפרסם את המודל באמצעות model management API של Admin SDK:

מתקינים ומפעילים את ה-SDK.

מפרסמים את המודל.

צריך לציין את מזהה המשאב של המודל, שהוא מחרוזת שנראה כמו הדוגמה הבאה:

projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID

`PROJECT_NUMBER`	מספר הפרויקט של הקטגוריה Cloud Storage שמכילה את המודל. יכול להיות שזה פרויקט Firebase או פרויקט Google Cloud אחר. אפשר למצוא את הערך הזה בדף ההגדרות של מסוף Firebase או במרכז הבקרה של מסוף Google Cloud.
`MODEL_ID`	מזהה המודל, שקיבלתם מ-AutoML Cloud API.

Python

# First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

Node.js

// First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

הורדה של המודל ויצירת חבילה עם האפליקציה

כשמצרפים את המודל לאפליקציה, אפשר לוודא שתכונות ה-ML של האפליקציה ימשיכו לפעול גם כשהמודל שמתארח ב-Firebase לא זמין.

אם בחרת לפרסם את המודל וגם לצרף אותו לאפליקציה שלך, האפליקציה תשתמש ב- יש גרסה עדכנית זמינה.

כדי להוריד את המודל, לוחצים על TF Lite בתפריט Test & שימוש.

השלבים הבאים

אחרי שפרסמתם או הורדת את המודל, תוכלו ללמוד איך להשתמש בו באפליקציות ל-iOS+ ול-Android.