Check out what’s new from Firebase at Google I/O 2022. Learn more

Objekterkennung und -verfolgung

Mit der geräteinternen Objekterkennungs- und Tracking-API von ML Kit können Sie die markantesten Objekte in einem Bild oder Live-Kamera-Feed in Echtzeit lokalisieren und verfolgen. Optional können Sie erkannte Objekte auch in eine von mehreren allgemeinen Kategorien klassifizieren.

Die Objekterkennung und -verfolgung mit grober Klassifizierung ist nützlich, um visuelle Live-Sucherfahrungen zu erstellen. Da die Objekterkennung und -verfolgung schnell und vollständig auf dem Gerät erfolgt, funktioniert es gut als Frontend einer längeren visuellen Suchpipeline. Nachdem Sie Objekte erkannt und gefiltert haben, können Sie sie an ein Cloud-Back-End wie Cloud Vision Product Search oder an ein benutzerdefiniertes Modell übergeben, z. B. eines, das Sie mit AutoML Vision Edge trainiert haben.

iOS- Android

Schlüsselfähigkeiten

Schnelle Objekterkennung und -verfolgung Erkennen Sie Objekte und ermitteln Sie deren Position im Bild. Verfolgen Sie Objekte über Bilder hinweg.
Optimiertes On-Device-Modell Das Objekterkennungs- und Verfolgungsmodell ist für mobile Geräte optimiert und für den Einsatz in Echtzeitanwendungen auch auf Geräten der unteren Preisklasse vorgesehen.
Erkennung prominenter Objekte Bestimmen Sie automatisch das auffälligste Objekt in einem Bild.
Grobe Einteilung Klassifizieren Sie Objekte in breite Kategorien, die Sie verwenden können, um Objekte herauszufiltern, an denen Sie nicht interessiert sind. Die folgenden Kategorien werden unterstützt: Haushaltswaren, Modewaren, Lebensmittel, Pflanzen, Orte und Unbekannt.

Beispielergebnisse

Verfolgung des auffälligsten Objekts über Bilder hinweg

Tracking ID 0
Grenzen (95, 45), (496, 45), (496, 240), (95, 240)
Kategorie ORT
Klassifikationsvertrauen 0,9296875
Tracking ID 0
Grenzen (84, 46), (478, 46), (478, 247), (84, 247)
Kategorie ORT
Klassifikationsvertrauen 0,8710938
Tracking ID 0
Grenzen (53, 45), (519, 45), (519, 240), (53, 240)
Kategorie ORT
Klassifikationsvertrauen 0,8828125

Foto: Christian Ferrer [CC BY-SA 4.0]

Mehrere Objekte in einem statischen Bild

Objekt 0
Grenzen (1, 97), (332, 97), (332, 332), (1, 332)
Kategorie MODE_GUT
Klassifikationsvertrauen 0,95703125
Objekt 1
Grenzen (186, 80), (337, 80), (337, 226), (186, 226)
Kategorie MODE_GUT
Klassifikationsvertrauen 0,84375
Objekt 2
Grenzen (296, 80), (472, 80), (472, 388), (296, 388)
Kategorie MODE_GUT
Klassifikationsvertrauen 0,94921875
Objekt 3
Grenzen (439, 83), (615, 83), (615, 306), (439, 306)
Kategorie MODE_GUT
Klassifikationsvertrauen 0,9375