オブジェクトの検出とトラッキングplat_iosplat_android

デバイス上のオブジェクトの検出とトラッキングを行う ML Kit の API を使用すると、画像またはライブカメラフィード内で最も目立つオブジェクトをリアルタイムでローカライズし、追跡できます。検出されたオブジェクトを一般的なカテゴリの 1 つに分類することもできます。

オブジェクトの検出とトラッキングでおおまかな分類を使用すると、ライブのビジュアル検索機能を構築しやすくなります。オブジェクトの検出とトラッキングはデバイス上で迅速かつ完全に行われるため、より長いビジュアル検索パイプラインのフロントエンドとしても機能します。検出してフィルタリングしたオブジェクトは、Cloud Vision Product Search などのクラウドバックエンドや、AutoML Vision Edge でトレーニングしたカスタムモデルに渡すことができます。

iOS Android

主な機能

オブジェクトの高速な検出とトラッキング	オブジェクトを検出し、画像内の位置を取得します。複数の画像でオブジェクトを追跡します。
最適化されたデバイスモデル	オブジェクトの検出とトラッキングはモバイルデバイス用に最適化されています。ローエンドデバイスでも、リアルタイムアプリケーションで使用することを前提としています。
目立つオブジェクトの検出	画像内で最も目立つオブジェクトを自動的に判断します。
おおまかな分類	オブジェクトを一般的なカテゴリに分類します。これにより、必要のないオブジェクトを除外できます。サポートされているカテゴリは、家庭用品、ファッショングッズ、食品、植物、場所、不明です。

実行結果の例

画像間で最も目立つオブジェクトを追跡する

トラッキング ID	0
境界	（95, 45）、（496, 45）、（496, 240）、（95, 240）
カテゴリ	PLACE
分類の信頼度	0.9296875

トラッキング ID	0
境界	（84, 46）、（478, 46）、（478, 247）、（84, 247）
カテゴリ	PLACE
分類の信頼度	0.8710938

トラッキング ID	0
境界	（53, 45）、（519, 45）、（519, 240）、（53, 240）
カテゴリ	PLACE
分類の信頼度	0.8828125

写真: Christian Ferrer [CC BY-SA 4.0]

静止画像内の複数のオブジェクト

Object 0
境界	（1, 97）、（332, 97）、（332, 332）、（1, 332）
カテゴリ	FASHION_GOOD
分類の信頼度	0.95703125
Object 1
境界	（186, 80）、（337, 80）、（337, 226）、（186, 226）
カテゴリ	FASHION_GOOD
分類の信頼度	0.84375
Object 2
境界	（296, 80）、（472, 80）、（472, 388）、（296, 388）
カテゴリ	FASHION_GOOD
分類の信頼度	0.94921875
Object 3
境界	（439, 83）、（615, 83）、（615, 306）、（439, 306）
カテゴリ	FASHION_GOOD
分類の信頼度	0.9375