Firebase 向け ML Kit

現実世界の問題を解決するために、アプリで機械学習を利用しましょう。

ML Kit は、Google の機械学習の機能を Android アプリや iOS アプリとして提供するモバイル SDK です。その強力で使いやすいパッケージは、機械学習の経験の有無を問わず、わずか数行のコードで実装できます。ニューラル ネットワークやモデルの最適化に関する詳しい知識は必要ありません。経験豊富な ML のデベロッパーの方は、ML Kit の便利な API を利用することで、モバイルアプリにおいてカスタム TensorFlow Lite モデルを簡単に採用できます。

主な機能

一般的なユースケースの本番環境に対応

ML Kit には、テキストの認識、顔検出、ランドマークの認識、バーコードのスキャン、画像のラベル付け、テキストの言語の識別など、一般的なモバイルのユースケースですぐに使える API セットが備わっています。ML Kit ライブラリにデータを渡すだけで、必要な情報を得ることができます。

デバイス / クラウドの両方に対応

ML Kit には、デバイスまたはクラウド上で実行できる API が用意されています。オンデバイス API は、データを迅速に処理し、ネットワーク接続がない場合でも機能します。また、クラウドベースの API は、Google Cloud の機械学習テクノロジーを利用して、さらに精度の高い処理を実行します。

カスタムモデルをデプロイ

ユースケースを ML Kit の API で扱うことができない場合は、独自の TensorFlow Lite モデルをいつでも組み込むことができます。モデルを Firebase にアップロードするだけで、モデルのホスティングとアプリに対するサービス処理は Google 側で行われます。ML Kit はカスタムモデルの API レイヤとして機能するので、実行も使い方も簡単です。

仕組み

ML Kit は、Google Cloud Vision APITensorFlow LiteAndroid Neural Networks API などの Google の ML テクノロジーを 1 つにまとめた SDK で、アプリで ML テクノロジーを簡単に利用できます。クラウドベースの処理能力が必要な場合や、モバイルに最適化されたオンデバイス モデルのリアルタイム機能が必要な場合、あるいは TensorFlow Lite カスタムモデルの柔軟性が必要な場合でも、ML Kit では、わずか数行のコードで目的を実現できます。

デバイスとクラウドで利用可能な機能

実装パス

SDK を統合する Gradle または CocoaPod を使用して SDK を組み込みます。
入力データを準備する たとえば、視覚機能を使用する場合は、カメラから画像をキャプチャして、画像回転などに必要なメタデータを生成します。また、ギャラリーから写真を選択するようにユーザーに指示します。
データに ML モデルを適用する データに ML モデルを適用することで、使用した機能に応じて分析情報(検出された顔の表情、画像内で認識されたオブジェクトやコンセプトなど)を取得できます。これらの情報を使用して、写真の装飾やメタデータの自動生成など、さまざまな機能をアプリに組み込むことができます。

次のステップ