Обнаружение и отслеживание объектов

С помощью API обнаружения и отслеживания объектов ML Kit на устройстве вы можете локализовать и отслеживать в режиме реального времени наиболее заметные объекты на изображении или в реальном времени с камеры. Вы также можете при желании отнести обнаруженные объекты к одной из нескольких общих категорий.

Обнаружение и отслеживание объектов с грубой классификацией полезно для создания визуального поиска в реальном времени. Поскольку обнаружение и отслеживание объектов происходит быстро и полностью на устройстве, оно хорошо работает как интерфейс более длинного конвейера визуального поиска. После обнаружения и фильтрации объектов вы можете передать их в облачную серверную часть, например Cloud Vision Product Search , или в пользовательскую модель, например ту, которую вы обучили с помощью AutoML Vision Edge .

iOS Android

Ключевые возможности

Быстрое обнаружение и отслеживание объектов Обнаруживайте объекты и узнавайте их местоположение на изображении. Отслеживайте объекты на изображениях.
Оптимизированная модель на устройстве Модель обнаружения и отслеживания объектов оптимизирована для мобильных устройств и предназначена для использования в приложениях реального времени, даже на устройствах более низкого уровня.
Обнаружение заметных объектов Автоматически определяйте наиболее заметный объект на изображении.
Грубая классификация Классифицируйте объекты по широким категориям, которые можно использовать для фильтрации объектов, которые вас не интересуют. Поддерживаются следующие категории: товары для дома, модные товары, продукты питания, растения, места и неизвестное.

Примеры результатов

Отслеживание наиболее заметного объекта на изображениях

Идентификатор отслеживания 0
Границы (95, 45), (496, 45), (496, 240), (95, 240)
Категория МЕСТО
Достоверность классификации 0,9296875
Идентификатор отслеживания 0
Границы (84, 46), (478, 46), (478, 247), (84, 247)
Категория МЕСТО
Достоверность классификации 0,8710938
Идентификатор отслеживания 0
Границы (53, 45), (519, 45), (519, 240), (53, 240)
Категория МЕСТО
Достоверность классификации 0,8828125

Фото: Кристиан Феррер [CC BY-SA 4.0]

Несколько объектов в статическом изображении

Объект 0
Границы (1, 97), (332, 97), (332, 332), (1, 332)
Категория МОДА_ХОРОШО
Достоверность классификации 0,95703125
Объект 1
Границы (186, 80), (337, 80), (337, 226), (186, 226)
Категория МОДА_ХОРОШО
Достоверность классификации 0,84375
Объект 2
Границы (296, 80), (472, 80), (472, 388), (296, 388)
Категория МОДА_ХОРОШО
Достоверность классификации 0,94921875
Объект 3
Границы (439, 83), (615, 83), (615, 306), (439, 306)
Категория МОДА_ХОРОШО
Достоверность классификации 0,9375