Firebase ML を使用してランドマークを認識する（iOS）

Firebase ML を使用すると、画像内にあるよく知られたランドマークを認識できます。

始める前に

まだアプリに Firebase を追加していない場合は、スタートガイドの手順に沿って追加してください。

Swift Package Manager を使用して Firebase の依存関係のインストールと管理を行います。

1. Xcode でアプリのプロジェクトを開いたまま、[File] > [Add Packages] の順に移動します。
2. プロンプトが表示されたら、Firebase Apple プラットフォーム SDK リポジトリを追加します。

  https://github.com/firebase/firebase-ios-sdk.git

3. Firebase ML ライブラリを選択します。
4. ターゲットのビルド設定の [Other Linker Flags] セクションに -ObjC フラグを追加します。
5. 上記の作業が完了すると、Xcode は依存関係の解決とバックグラウンドでのダウンロードを自動的に開始します。

次に、アプリ内の設定を行います。

1. アプリに Firebase をインポートします。

   Swift

   import FirebaseMLModelDownloader

   Objective-C

   @import FirebaseMLModelDownloader;

1. プロジェクトで Cloud ベースの API をまだ有効にしていない場合は、ここで有効にします。

   1. Firebase コンソールの Firebase ML の [APIs] ページを開きます。

   2. まだプロジェクトを Blaze 料金プランにアップグレードしていない場合は、[アップグレード] をクリックしてアップグレードします（プロジェクトをアップグレードするよう求められるのは、プロジェクトが Blaze プランでない場合のみです）。

      Blaze レベルのプロジェクトだけが Cloud ベースの API を使用できます。

   3. Cloud ベースの API がまだ有効になっていない場合は、[Cloud ベースの API を有効化] をクリックします。

ランドマーク検出ツールを構成する

デフォルトでは、Cloud 検出ツールは安定バージョンのモデルを使用して、最大 10 件の結果を返します。これらの設定のいずれかを変更する場合は、次の例のように VisionCloudDetectorOptions オブジェクトを使用して指定します。

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
ViewController.swift

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

次のステップでは、Cloud 検出ツール オブジェクトを作成するときに VisionCloudDetectorOptions オブジェクトを渡します。

ランドマーク検出ツールを実行する

1. VisionCloudLandmarkDetector のインスタンスを取得します。

   Swift

   lazy var vision = Vision.vision()
   
   let cloudDetector = vision.cloudLandmarkDetector(options: options)
   // Or, to use the default settings:
   // let cloudDetector = vision.cloudLandmarkDetector()
   ViewController.swift

   Objective-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
   // Or, to change the default settings:
   // FIRVisionCloudLandmarkDetector *landmarkDetector =
   //     [vision cloudLandmarkDetectorWithOptions:options];

2. Cloud Vision を呼び出すには、画像を base64 でエンコードされた文字列としてフォーマットする必要があります。以下の方法で UIImage を処理します。

   Swift

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Objective-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. 次に、画像を detect(in:) メソッドに渡します。

   Swift

   cloudDetector.detect(in: visionImage) { landmarks, error in
     guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
       // ...
       return
     }
   
     // Recognized landmarks
     // ...
   }
   ViewController.swift

   Objective-C

   [landmarkDetector detectInImage:image
                        completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                     NSError *error) {
     if (error != nil) {
       return;
     } else if (landmarks != nil) {
       // Got landmarks
     }
   }];

認識されたランドマークに関する情報を取得する

次に例を示します。

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

次のステップ

• Cloud APIs を使用するアプリを本番環境にデプロイする前に、不正な API アクセスを防いでその影響を軽減するため、いくつかの追加手順が必要になります。