Firebase Summit で発表されたすべての情報をご覧ください。Firebase を使用してアプリ開発を加速し、自信を持ってアプリを実行する方法を紹介しています。詳細

物体の検出と追跡

ML Kitのデバイス上のオブジェクト検出および追跡APIを使用すると、画像またはライブカメラフィード内の最も目立つオブジェクトをリアルタイムでローカライズおよび追跡できます。オプションで、検出されたオブジェクトをいくつかの一般的なカテゴリの1つに分類することもできます。

大まかな分類によるオブジェクトの検出と追跡は、ライブの視覚探索体験を構築するのに役立ちます。オブジェクトの検出と追跡はデバイス上で迅速かつ完全に行われるため、より長い視覚的検索パイプラインのフロントエンドとして適切に機能します。オブジェクトを検出してフィルタリングした後、それらをCloud Vision Product Searchなどのクラウドバックエンド、またはAutoMLVisionEdgeを使用してトレーニングしたものなどのカスタムモデルに渡すことができます。

iOS Android

主な機能

迅速な物体検出と追跡オブジェクトを検出し、画像内のオブジェクトの位置を取得します。画像全体でオブジェクトを追跡します。
最適化されたオンデバイスモデルオブジェクト検出および追跡モデルは、モバイルデバイス用に最適化されており、ローエンドデバイスでもリアルタイムアプリケーションでの使用を目的としています。
著名なオブジェクトの検出画像内で最も目立つオブジェクトを自動的に判別します。
粗い分類オブジェクトを幅広いカテゴリに分類します。これを使用して、関心のないオブジェクトを除外できます。次のカテゴリがサポートされています：家庭用品、ファッション商品、食品、植物、場所、不明。

結果の例

画像全体で最も目立つオブジェクトを追跡する

トラッキングID 0
境界（95、45）、（496、45）、（496、240）、（95、240）
カテゴリー場所
分類の信頼度0.9296875
トラッキングID 0
境界（84、46）、（478、46）、（478、247）、（84、247）
カテゴリー場所
分類の信頼度0.8710938
トラッキングID 0
境界（53、45）、（519、45）、（519、240）、（53、240）
カテゴリー場所
分類の信頼度0.8828125

写真：クリスチャンフェラー[CC BY-SA 4.0]

静止画像内の複数のオブジェクト

オブジェクト0
境界（1、97）、（332、97）、（332、332）、（1、332）
カテゴリーFASHION_GOOD
分類の信頼度0.95703125
オブジェクト1
境界（186、80）、（337、80）、（337、226）、（186、226）
カテゴリーFASHION_GOOD
分類の信頼度0.84375
オブジェクト2
境界（296、80）、（472、80）、（472、388）、（296、388）
カテゴリーFASHION_GOOD
分類の信頼度0.94921875
オブジェクト3
境界（439、83）、（615、83）、（615、306）、（439、306）
カテゴリーFASHION_GOOD
分類の信頼度0.9375