AutoML Vision Edge की मदद से, इमेज लेबल करने वाले मॉडल को ट्रेनिंग दें

इमेज लेबल करने वाले मॉडल को ट्रेन करने के लिए, AutoML Vision Edge को इमेज और उनसे जुड़े लेबल का एक सेट दें. AutoML Vision Edge, क्लाउड में एक नए मॉडल को ट्रेनिंग देने के लिए, इस डेटासेट का इस्तेमाल करता है. इसे ऐप्लिकेशन में, डिवाइस पर मौजूद इमेज को लेबल करने के लिए इस्तेमाल किया जा सकता है. इस सुविधा के बारे में सामान्य जानकारी के लिए, खास जानकारी देखें.

AutoML Vision Edge, Google Cloud की सेवा है. इस सेवा का इस्तेमाल करने के लिए, Google Cloud Platform के लाइसेंस के कानूनी समझौते और सेवा की खास शर्तों का पालन करना ज़रूरी है. साथ ही, इसके हिसाब से ही बिलिंग की जाती है. बिलिंग की जानकारी के लिए, AutoML के शुल्क पेज पर जाएं.

शुरू करने से पहले

1. ट्रेनिंग डेटा इकट्ठा करना

सबसे पहले, आपको लेबल की गई इमेज का ट्रेनिंग डेटासेट बनाना होगा. इन दिशा-निर्देशों का ध्यान रखें:

  • इमेज इनमें से किसी एक फ़ॉर्मैट में होनी चाहिए: JPEG, PNG, GIF, BMP, ICO.

  • हर इमेज का साइज़ 30 एमबी या इससे कम होना चाहिए. ध्यान दें कि AutoML Vision Edge, प्री-प्रोसेसिंग के दौरान ज़्यादातर इमेज को डाउनस्केल कर देता है. इसलिए, बहुत ज़्यादा रिज़ॉल्यूशन वाली इमेज उपलब्ध कराने का आम तौर पर कोई फ़ायदा नहीं होता.

  • हर लेबल के लिए कम से कम 10 और बेहतर होगा कि 100 या उससे ज़्यादा उदाहरण शामिल करें.

  • हर लेबल के लिए कई ऐंगल, रिज़ॉल्यूशन, और बैकग्राउंड शामिल करें.

  • ट्रेनिंग डेटा, उस डेटा से जितना हो सके उतना मिलता-जुलता होना चाहिए जिस पर अनुमान लगाने हैं. उदाहरण के लिए, अगर आपके इस्तेमाल के उदाहरण में धुंधली और कम रिज़ॉल्यूशन वाली इमेज (जैसे, सुरक्षा कैमरे से ली गई इमेज) शामिल हैं, तो आपके ट्रेनिंग डेटा में धुंधली और कम रिज़ॉल्यूशन वाली इमेज होनी चाहिए.

  • AutoML Vision Edge से जनरेट किए गए मॉडल, असल दुनिया के ऑब्जेक्ट की फ़ोटो के लिए ऑप्टिमाइज़ किए जाते हैं. हो सकता है कि ये एक्स-रे, हाथ से बनाई गई ड्रॉइंग, स्कैन किए गए दस्तावेज़, रसीद वगैरह के लिए ठीक से काम न करें.

    साथ ही, आम तौर पर मॉडल ऐसे लेबल का अनुमान नहीं लगा सकते जिन्हें इंसान असाइन नहीं कर सकते. इसलिए, अगर कोई व्यक्ति इमेज को एक-दो सेकंड तक देखकर लेबल असाइन नहीं कर सकता, तो हो सकता है कि मॉडल को भी ऐसा करने के लिए ट्रेनिंग न दी जा सके.

जब आपकी ट्रेनिंग इमेज तैयार हों, तब उन्हें Firebase में इंपोर्ट करने के लिए तैयार करें. आपके पास तीन विकल्प हैं:

पहला विकल्प: स्ट्रक्चर्ड ज़िप संग्रह

अपनी ट्रेनिंग इमेज को डायरेक्ट्री में व्यवस्थित करें. हर डायरेक्ट्री का नाम किसी लेबल के नाम पर रखा गया हो और उसमें उस लेबल के उदाहरण वाली इमेज शामिल हों. इसके बाद, डायरेक्ट्री स्ट्रक्चर को ZIP संग्रह में कंप्रेस करें.

इस ज़िप संग्रह में डायरेक्ट्री के नाम में 32 ASCII वर्ण हो सकते हैं. साथ ही, इनमें सिर्फ़ अक्षर, अंक, और अंडरस्कोर वर्ण (_) शामिल हो सकते हैं.

उदाहरण के लिए:

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

दूसरा विकल्प: CSV इंडेक्स के साथ Cloud Storage

Google Cloud Storage पर अपनी ट्रेनिंग इमेज अपलोड करें और हर इमेज के यूआरएल की सूची वाली CSV फ़ाइल तैयार करें. इसके अलावा, हर इमेज के लिए सही लेबल भी तैयार करें. यह विकल्प, बहुत बड़े डेटासेट का इस्तेमाल करते समय मददगार होता है.

उदाहरण के लिए, Cloud Storage पर अपनी इमेज अपलोड करें और इस तरह की CSV फ़ाइल तैयार करें:

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

इमेज को उस बकेट में सेव करना ज़रूरी है जो आपके Firebase प्रोजेक्ट के Google Cloud प्रोजेक्ट का हिस्सा हो.

CSV फ़ाइल तैयार करने के बारे में ज़्यादा जानकारी के लिए, Cloud AutoML विज़न दस्तावेज़ में अपना ट्रेनिंग डेटा तैयार करना देखें.

तीसरा विकल्प: बिना लेबल वाली इमेज

ट्रेनिंग इमेज को अपलोड करने के बाद, Firebase कंसोल में उन्हें लेबल करें. इमेज को अलग-अलग या बिना क्रम वाली ZIP फ़ाइल में लेबल किया जा सकता है. अगला चरण देखें.

2. अपने मॉडल को ट्रेन करना

इसके बाद, अपनी इमेज का इस्तेमाल करके मॉडल को ट्रेनिंग दें:

  1. Google Cloud कंसोल में, विज़न डेटासेट पेज खोलें. जब कहा जाए, तब अपना प्रोजेक्ट चुनें.

  2. नया डेटासेट पर क्लिक करें. इसके बाद, डेटासेट के लिए कोई नाम दें और वह मॉडल टाइप चुनें जिसे आपको ट्रेन करना है. इसके बाद, डेटासेट बनाएं पर क्लिक करें.

  3. अपने डेटासेट के इंपोर्ट टैब में, ट्रेनिंग इमेज का ज़िप संग्रह या ऐसी CSV फ़ाइल अपलोड करें जिसमें उन Cloud Storage जगहों की जानकारी हो जहां इन्हें अपलोड किया गया है. ट्रेनिंग के लिए डेटा इकट्ठा करना लेख पढ़ें.

  4. इंपोर्ट करने का टास्क पूरा होने के बाद, इमेज टैब का इस्तेमाल करके, ट्रेनिंग डेटा की पुष्टि करें और बिना लेबल वाली इमेज को लेबल करें.

  5. ट्रेन टैब में, ट्रेनिंग शुरू करें पर क्लिक करें.

    1. मॉडल को कोई नाम दें और Edge मॉडल टाइप चुनें.

    2. जनरेट किए गए मॉडल की परफ़ॉर्मेंस को कंट्रोल करने वाली, ट्रेनिंग की ये सेटिंग कॉन्फ़िगर करें:

      मॉडल को इनके लिए ऑप्टिमाइज़ करें... इस्तेमाल किया जाने वाला मॉडल कॉन्फ़िगरेशन. जब इंतज़ार का समय कम करना हो या पैकेज का साइज़ छोटा होना ज़रूरी हो, तब आप तेज़, छोटे, मॉडल को ट्रेनिंग दे सकते हैं. अगर सबसे ज़्यादा सटीक जानकारी देना ज़रूरी हो, तो मॉडल को धीमा, बड़ा, और ट्रेनिंग दी जा सकती है.
      नोड घंटा बजट

      मॉडल को ट्रेनिंग देने में, कंप्यूट घंटों में लगने वाला ज़्यादा से ज़्यादा समय. आम तौर पर, ज़्यादा समय तक ट्रेनिंग करने से ज़्यादा सटीक मॉडल बनता है.

      ध्यान दें कि अगर सिस्टम को यह लगता है कि मॉडल को ऑप्टिमाइज़ किया गया है और अतिरिक्त ट्रेनिंग से सटीक नतीजे नहीं मिल पाएंगे, तो ट्रेनिंग को तय किए गए समय से भी कम समय में पूरा किया जा सकता है. आपको सिर्फ़ उन घंटों के लिए बिल भेजा जाता है जो असल में इस्तेमाल किए गए हैं.

      ट्रेनिंग में लगने वाला सामान्य समय
      बहुत छोटे सेट1 घंटा
      500 इमेज2 घंटे
      1,000 इमेज3 घंटे
      5,000 इमेज6 घंटे
      10,000 इमेज7 घंटे
      50,000 इमेज11 घंटे
      1,00,000 इमेज13 घंटे
      1,000,000 इमेज18 घंटे

3. अपने मॉडल का आकलन करना

ट्रेनिंग पूरी होने के बाद, मॉडल की परफ़ॉर्मेंस मेट्रिक देखने के लिए, आकलन करें टैब पर क्लिक करें.

इस पेज का एक अहम इस्तेमाल, आपके मॉडल के लिए सबसे अच्छा काम करने वाला कॉन्फ़िडेंस थ्रेशोल्ड तय करना है. कॉन्फ़िडेंस थ्रेशोल्ड वह कम से कम भरोसा है जो मॉडल के पास होना चाहिए. इसके बाद ही, वह किसी इमेज के लिए लेबल असाइन कर पाएगा. कॉन्फ़िडेंस थ्रेशोल्ड स्लाइडर को मूव करके, यह देखा जा सकता है कि अलग-अलग थ्रेशोल्ड से मॉडल की परफ़ॉर्मेंस पर क्या असर पड़ता है. मॉडल की परफ़ॉर्मेंस दो मेट्रिक का इस्तेमाल करके मापी जाती है: सटीक और रीकॉल.

इमेज को कैटगरी में बांटने के मामले में, सटीकनेस का मतलब है कि सही तरीके से लेबल की गई इमेज की संख्या और चुनी गई थ्रेशोल्ड के हिसाब से, मॉडल की ओर से लेबल की गई इमेज की संख्या के बीच का अनुपात. जब किसी मॉडल की परफ़ॉर्मेंस अच्छी होती है, तो वह कम ही गलत लेबल असाइन करता है (कम फ़ॉल्स पॉज़िटिव).

रीकॉल, सही तरीके से लेबल की गई इमेज की संख्या और उन इमेज की संख्या के बीच का अनुपात है जिनमें मॉडल को लेबल करना चाहिए था. जब किसी मॉडल को ज़्यादा चीज़ें बाज़ार से हटा ली जाती हैं, तो वह किसी भी लेबल को कम बार असाइन नहीं कर पाता है (गलत जानकारी बहुत कम होती है).

आपके इस्तेमाल के उदाहरण पर निर्भर करेगा कि आप सटीक होने के लिए ऑप्टिमाइज़ करें या बाज़ार से हटा लें. ज़्यादा जानकारी के लिए, AutoML Vision के लिए शुरुआती लोगों की गाइड और सभी के लिए मशीन लर्निंग गाइड - AutoML देखें.

जब आपको कोई कॉन्फ़िडेंस थ्रेशोल्ड मिलता है, जो आपकी पसंद के मुताबिक मेट्रिक दिखाता है, तो उसका ध्यान रखें. अपने ऐप्लिकेशन में मॉडल को कॉन्फ़िगर करने के लिए, कॉन्फ़िडेंस थ्रेशोल्ड का इस्तेमाल किया जाएगा. (थ्रेशोल्ड की सही वैल्यू पाने के लिए, इस टूल का इस्तेमाल कभी भी किया जा सकता है.)

4. अपना मॉडल पब्लिश करना या डाउनलोड करना

अगर आप मॉडल की परफ़ॉर्मेंस से संतुष्ट हैं और आपको इसे किसी ऐप्लिकेशन में इस्तेमाल करना है, तो आपके पास तीन विकल्प हैं. इनमें से कोई भी विकल्प चुना जा सकता है: ऑनलाइन अनुमान के लिए मॉडल को डिप्लॉय करना, मॉडल को Firebase पर पब्लिश करना या मॉडल को डाउनलोड करके, उसे अपने ऐप्लिकेशन के साथ बंडल करना.

मॉडल को डिप्लॉय करना

अपने डेटासेट के जांच करें और इस्तेमाल करें टैब में, ऑनलाइन अनुमान के लिए अपना मॉडल डिप्लॉय किया जा सकता है. यह मॉडल, क्लाउड में चलता है. इस विकल्प के बारे में Cloud AutoML के दस्तावेज़ों में बताया गया है. इस साइट के दस्तावेज़ों में बाकी दो विकल्पों का इस्तेमाल किया गया है.

मॉडल पब्लिश करना

Firebase में मॉडल पब्लिश करके, ऐप्लिकेशन का नया वर्शन रिलीज़ किए बिना ही मॉडल को अपडेट किया जा सकता है. साथ ही, उपयोगकर्ताओं के अलग-अलग ग्रुप को डाइनैमिक तौर पर अलग-अलग मॉडल दिखाने के लिए, Remote Config और A/B Testing का इस्तेमाल किया जा सकता है.

अगर आपने मॉडल को Firebase पर होस्ट करके, उसे अपने ऐप्लिकेशन के साथ बंडल नहीं किया है, तो अपने ऐप्लिकेशन के शुरुआती डाउनलोड साइज़ को कम किया जा सकता है. हालांकि, ध्यान रखें कि अगर मॉडल को आपके ऐप्लिकेशन के साथ बंडल नहीं किया गया है, तो मॉडल से जुड़ी कोई भी सुविधा तब तक उपलब्ध नहीं होगी, जब तक आपका ऐप्लिकेशन पहली बार मॉडल को डाउनलोड नहीं कर लेता.

अपना मॉडल प्रकाशित करने के लिए, आप दो में से किसी एक विधि का उपयोग कर सकते हैं:

  • Google Cloud कंसोल में, अपने डेटासेट के जांच करें और इस्तेमाल करें पेज से TF Lite मॉडल को डाउनलोड करें. इसके बाद, मॉडल को Firebase कंसोल के कस्टम मॉडल पेज पर अपलोड करें. आम तौर पर, किसी एक मॉडल को पब्लिश करने का यह सबसे आसान तरीका है.
  • एडमिन SDK टूल का इस्तेमाल करके, अपने Google Cloud प्रोजेक्ट से सीधे Firebase में मॉडल पब्लिश करें. इस तरीके का इस्तेमाल करके, एक साथ कई मॉडल पब्लिश किए जा सकते हैं. इसके अलावा, अपने-आप पब्लिश होने वाली पाइपलाइन बनाने में भी मदद मिलती है.

Admin SDK के मॉडल मैनेजमेंट एपीआई की मदद से मॉडल पब्लिश करने के लिए:

  1. SDK टूल इंस्टॉल और शुरू करें.

  2. मॉडल पब्लिश करें.

    आपको मॉडल का रिसॉर्स आइडेंटिफ़ायर बताना होगा. यह एक स्ट्रिंग होती है, जो नीचे दिए गए उदाहरण की तरह दिखती है:

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER उस Cloud Storage बकेट का प्रोजेक्ट नंबर जिसमें मॉडल मौजूद है. यह आपका Firebase प्रोजेक्ट या कोई दूसरा Google Cloud प्रोजेक्ट हो सकता है. यह वैल्यू, Firebase कंसोल के सेटिंग पेज या Google Cloud कंसोल के डैशबोर्ड पर देखी जा सकती है.
    MODEL_ID मॉडल का आईडी, जो आपको AutoML Cloud API से मिला है.

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

मॉडल को डाउनलोड करना और अपने ऐप्लिकेशन के साथ बंडल करना

मॉडल को अपने ऐप्लिकेशन के साथ बंडल करके, यह पक्का किया जा सकता है कि Firebase से होस्ट किया गया मॉडल उपलब्ध न होने पर भी, अपने ऐप्लिकेशन के मशीन लर्निंग की सुविधाएं काम करती रहें.

अगर आपने मॉडल को पब्लिश किया है और उसे अपने ऐप्लिकेशन के साथ बंडल किया है, तो ऐप्लिकेशन उपलब्ध सबसे नए वर्शन का इस्तेमाल करेगा.

मॉडल डाउनलोड करने के लिए, अपने डेटासेट के जांच करें और इस्तेमाल करें पेज पर TF Lite पर क्लिक करें.

अगले चरण

मॉडल को पब्लिश या डाउनलोड करने के बाद, अपने iOS+ और Android ऐप्लिकेशन में मॉडल का इस्तेमाल करने का तरीका जानें.