Firebase 向け ML Kit

現実世界の問題を解決するために、アプリで機械学習を利用しましょう。

ML Kit は、Google の機械学習の機能を Android アプリや iOS アプリとして提供するモバイル SDK です。その強力で使いやすいパッケージは、機械学習の経験の有無を問わず、わずか数行のコードで実装できます。ニューラル ネットワークやモデルの最適化に関する詳しい知識は必要ありません。経験豊富な ML のデベロッパーの方は、ML Kit の便利な API を利用することで、モバイルアプリにおいてカスタム TensorFlow Lite モデルを簡単に採用できます。

主な機能

一般的なユースケースの本番環境に対応

ML Kit には、テキストの認識、顔検出、ランドマークの認識、バーコードのスキャン、画像のラベル付け、テキストの言語の識別など、一般的なモバイルのユースケースですぐに使える API セットが備わっています。ML Kit ライブラリにデータを渡すだけで、必要な情報を得ることができます。
デバイス / クラウドの両方に対応

ML Kit には、デバイスまたはクラウド上で実行できる API が用意されています。オンデバイス API は、データを迅速に処理し、ネットワーク接続がない場合でも機能します。また、クラウドベースの API は、Google Cloud の機械学習テクノロジーを利用して、さらに精度の高い処理を実行します。
カスタムモデルをデプロイ

ユースケースを ML Kit の API で扱うことができない場合は、独自の TensorFlow Lite モデルをいつでも組み込むことができます。モデルを Firebase にアップロードするだけで、モデルのホスティングとアプリに対するサービス処理は Google 側で行われます。ML Kit はカスタムモデルの API レイヤとして機能するので、実行も使い方も簡単です。

仕組み

ML Kit は、Google Cloud Vision API、TensorFlow Lite、Android Neural Networks API などの Google の ML テクノロジーを 1 つにまとめた SDK で、アプリで ML テクノロジーを簡単に利用できます。クラウドベースの処理能力が必要な場合や、モバイルに最適化されたオンデバイス モデルのリアルタイム機能が必要な場合、あるいは TensorFlow Lite カスタムモデルの柔軟性が必要な場合でも、ML Kit では、わずか数行のコードで目的を実現できます。

デバイスとクラウドで利用可能な機能

機能 オンデバイス Cloud
テキスト認識
顔検出
バーコード スキャン
画像のラベル付け
オブジェクトの検出とトラッキング
ランドマーク認識
言語識別
翻訳
スマート リプライ
AutoML モデルの推論
カスタムモデルの推論

実装パス

SDK を統合する Gradle または CocoaPod を使用して SDK を組み込みます。
入力データを準備する たとえば、視覚機能を使用する場合は、カメラから画像をキャプチャして、画像回転などに必要なメタデータを生成します。また、ギャラリーから写真を選択するようにユーザーに指示します。
データに ML モデルを適用する データに ML モデルを適用することで、使用した機能に応じて分析情報（検出された顔の表情、画像内で認識されたオブジェクトやコンセプトなど）を取得できます。これらの情報を使用して、写真の装飾やメタデータの自動生成など、さまざまな機能をアプリに組み込むことができます。

次のステップ