Addestra un modello di rilevamento degli oggetti con AutoML Vision Edge

Un modello di rilevamento di oggetti è simile a un modello di etichettatura delle immagini, ma anziché assegnare etichette a intere immagini, assegna etichette alle regioni delle immagini. Puoi utilizzare modelli di rilevamento degli oggetti per riconoscere e individuare oggetti in un'immagine o per monitorare i movimenti di un oggetto in una serie di immagini.

Per addestrare un modello di rilevamento di oggetti, devi fornire ad AutoML Vision Edge un set con etichette e confini degli oggetti corrispondenti. AutoML Vision Edge utilizza questo set di dati per addestrare un nuovo modello nel cloud, che puoi utilizzare di oggetti Kubernetes on-device.

di Gemini Advanced. La funzionalità di addestramento del modello di

Prima di iniziare

1. Assembla i dati di addestramento

Innanzitutto, devi creare un set di dati di addestramento di immagini etichettate. Conserva linee guida che seguono:

  • Le immagini devono essere in uno dei seguenti formati: JPEG, PNG, GIF, BMP, ICO.

  • Ogni immagine deve avere dimensioni massime pari a 30 MB. Tieni presente che AutoML Vision Edge esegue il downscale la maggior parte delle immagini durante la pre-elaborazione, quindi generalmente non c'è alcun vantaggio in termini di accuratezza fornendo immagini ad altissima risoluzione.

  • Includere almeno 10 e preferibilmente 100 o più esempi di ciascuna etichetta.

  • Includi più angolazioni, risoluzioni e sfondi per ogni etichetta.

  • I dati di addestramento devono essere il più simili possibile ai dati su cui è necessario fare previsioni. Ad esempio, se il tuo caso d'uso prevede immagini sfocate e a bassa risoluzione (ad esempio quelle di una videocamera di sicurezza), i dati di addestramento devono essere costituiti da immagini sfocate e a bassa risoluzione.

  • I modelli generati da AutoML Vision Edge sono ottimizzati per le fotografie di oggetti nel mondo reale. Potrebbero non funzionare bene per raggi X, disegni a mano, documenti scansionati, ricevute e così via.

    Inoltre, in genere i modelli non sono in grado di prevedere etichette che gli esseri umani non possono assegnare. Quindi, Se una persona non riesce ad assegnare le etichette guardando l'immagine per 1-2 secondi, probabilmente non può essere addestrato nemmeno per farlo.

Quando le immagini di addestramento sono pronte, preparale per l'importazione Google Cloud. Sono disponibili due opzioni:

Opzione 1: Cloud Storage con indice CSV

Carica le immagini di addestramento su Google Cloud Storage e prepara un file CSV che elenca l'URL di ogni immagine e, facoltativamente, il campo le etichette degli oggetti e le regioni di delimitazione corrette per ogni immagine. Questa opzione è in modo che sia utile quando si utilizzano set di dati di grandi dimensioni.

Ad esempio, carica le immagini su Cloud Storage e prepara un file CSV come il seguente:

gs://your-training-data-bucket/001.jpg,accordion,0.2,0.4,,,0.3,0.5,,
gs://your-training-data-bucket/001.jpg,tuba,0.2,0.5,,,0.4,0.8,,
gs://your-training-data-bucket/002.jpg,accordion,0.2,0.2,,,0.9,0.8,,

I riquadri di delimitazione degli oggetti sono specificati come coordinate relative nell'immagine. Consulta Formattazione di un file CSV con dati di addestramento.

Le immagini devono essere archiviate in un bucket che si trova nella regione us-central1 e parte del progetto Google Cloud corrispondente del tuo progetto Firebase.

Opzione 2: immagini senza etichetta

Etichetta le immagini di addestramento e traccia i confini degli oggetti nel Console Google Cloud dopo il caricamento. Questa opzione è consigliata solo per le app e set di dati. Vedi il passaggio successivo.

2. Addestra il modello

A questo punto, addestra un modello utilizzando le tue immagini:

  1. Apri Set di dati di Vision nella console Google Cloud. Seleziona il tuo progetto quando richiesto.

  2. Fai clic su Nuovo set di dati, fornisci un nome al set di dati, seleziona il tipo di modello da addestrare e fai clic su Crea set di dati.

  3. Nella scheda Importa del set di dati, carica le immagini di addestramento, delle immagini di addestramento o un file CSV contenente Cloud Storage posizioni in cui li hai caricati. Consulta Combina i dati di addestramento.

  4. Al termine dell'attività di importazione, utilizza la scheda Immagini per verificare il dati di addestramento.

  5. Se non hai caricato un file CSV, per ogni immagine disegna riquadri di delimitazione intorno agli oggetti che vuoi riconoscere ed etichetta ogni oggetto.

  6. Nella scheda Addestra, fai clic su Inizia addestramento.

    1. Assegna un nome al modello e seleziona il tipo di modello Edge.

    2. Configura le seguenti impostazioni di addestramento, che regolano il rendimento del modello generato:

      Ottimizza il modello per... La configurazione del modello da utilizzare. Puoi eseguire l'addestramento più velocemente, quando la bassa latenza o le dimensioni ridotte dei pacchetti sono importanti oppure modelli più lenti e più grandi quando l'accuratezza è più importante.
      Budget per ora nodo

      Il tempo massimo, in ore di calcolo, da dedicare all'addestramento del modello. Un tempo di addestramento maggiore di solito si traduce in una maggiore precisione un modello di machine learning.

      Tieni presente che l'addestramento può essere completato in meno del tempo specificato se il sistema determina che il modello è ottimizzato e un addestramento aggiuntivo non migliorerebbe l'accuratezza. Ti vengono addebitate solo le ore effettivamente utilizzate.

      Tempi di addestramento tipici
      Set molto piccoli1 ora
      500 immagini2 ore
      1000 immagini3 ore
      5000 immagini6 ore
      10.000 immagini7 ore
      50.000 immagini11 ore
      100.000 immagini13 ore
      1.000.000 di immagini18 ore

3. valuta il modello

Al termine dell'addestramento, puoi fare clic sulla scheda Valuta per visualizzare le metriche relative alle prestazioni del modello.

Un uso importante di questa pagina è determinare la soglia di confidenza che funziona la scelta migliore per il tuo modello. La soglia di confidenza è la confidenza minima che il modello necessario per assegnare un'etichetta a un'immagine. Spostando il dispositivo di scorrimento Soglia di affidabilità, puoi vedere in che modo soglie diverse influiscono sul rendimento del modello. Le prestazioni del modello vengono misurate utilizzando due metriche: precisione e richiamo.

Nel contesto della classificazione delle immagini, la precisione è il rapporto tra il numero di immagini etichettate correttamente e il numero di immagini etichettate dal modello in base alla soglia selezionata. Quando un modello ha una precisione elevata, assegna le etichette possono essere errate con minore frequenza (meno falsi positivi).

Per richiamo si intende il rapporto tra il numero di immagini etichettate correttamente e il numero di immagini con contenuti che il modello avrebbe dovuto essere in grado di etichettare. Quando un modello ha un richiamo elevato, non riesce ad assegnare alcuna etichetta con minore frequenza (meno false parole chiave escluse).

L'ottimizzazione per la precisione o il richiamo dipenderà dal caso d'uso. Consulta il corso AutoML Vision principiantis guida di Google e Guida al machine learning inclusivo - AutoML per saperne di più.

Quando trovi una soglia di confidenza che produce metriche con cui ti senti a tuo agio, prendine nota; userai la soglia di confidenza per configurare il modello dell'app. Puoi utilizzare questo strumento in qualsiasi momento per ottenere un valore di soglia appropriato.

4. Pubblicare o scaricare il modello

Se ritieni che le prestazioni del modello vadano bene e vuoi utilizzarlo in un'app, hai tre opzioni tra cui scegliere: esegui il deployment del modello per la previsione online, pubblicalo su Firebase o scaricalo e raggruppalo con la tua app.

Esegui il deployment del modello

Nella classe di riferimento Test & usa, puoi eseguire il deployment del modello per che esegue il modello nel cloud. Questa opzione è trattata nel Documentazione su Cloud AutoML. La documenti su questo sito con le due opzioni rimanenti.

Pubblica il modello

Se pubblichi il modello in Firebase, puoi aggiornarlo senza rilasciarlo una nuova versione dell'app e puoi usare Remote Config e A/B Testing per di pubblicare dinamicamente modelli diversi per insiemi di utenti diversi.

Se scegli di fornire il modello solo ospitandolo con Firebase e non puoi ridurne le dimensioni di download iniziali. Tieni presente, tuttavia, che se il modello non è integrato nella tua app, le funzionalità correlate al modello non saranno disponibili finché l'app non scarica l'app per la prima volta.

Per pubblicare il modello, puoi utilizzare uno dei due metodi seguenti:

  • Scarica il modello TF Lite dalla sezione Test e use nel console Google Cloud, quindi carica il modello Pagina Modello personalizzato della console Firebase. Di solito è il modo più semplice per pubblicare un singolo modello.
  • Pubblica il modello direttamente dal progetto Google Cloud su Firebase utilizzando l'SDK Admin. Puoi usare questo metodo per pubblicare in batch più modelli o per creare pipeline di pubblicazione automatizzate.

Per pubblicare il modello con l'API di gestione dei modelli di SDK Admin:

  1. Installa e inizializza l'SDK.

  2. Pubblica il modello.

    Dovrai specificare l'identificatore di risorsa del modello, che è una stringa simile all'esempio seguente:

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER Il numero del progetto del bucket Cloud Storage che contiene la classe un modello di machine learning. Potrebbe essere il tuo progetto Firebase o un altro Google Cloud progetto. Puoi trovare questo valore nella pagina Impostazioni del Console Firebase o la dashboard della console Google Cloud.
    MODEL_ID L'ID del modello che hai ottenuto dall'API AutoML Cloud.

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

Scaricare e raggruppare il modello con l'app

Associando il modello alla tua app, puoi garantire che le caratteristiche ML dell'app continueranno a funzionare quando il modello ospitato da Firebase non è disponibile.

Se pubblichi il modello e lo pacchettizzi con la tua app, l'app utilizzerà la classe l'ultima versione disponibile.

Per scaricare il modello, fai clic su TF Lite nella barra degli strumenti del set di dati Test & pagina Google Cloud.

Passaggi successivi

Ora che hai pubblicato o scaricato il modello, scopri come utilizzarlo in iOS+ e App per Android.