Firebase Summit で発表されたすべての情報をご覧ください。Firebase を使用してアプリ開発を加速し、自信を持ってアプリを実行する方法を紹介しています。詳細

iOSでMLキットを使用してオブジェクトを検出および追跡する

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。
プレースホルダー31

ML Kitを使用して、ビデオのフレーム全体でオブジェクトを検出および追跡できます。

ML Kit画像を渡すと、ML Kitは、画像ごとに、最大5つの検出されたオブジェクトと画像内のそれらの位置のリストを返します。ビデオストリーム内のオブジェクトを検出する場合、すべてのオブジェクトには、画像全体でオブジェクトを追跡するために使用できるIDがあります。オプションで、粗いオブジェクト分類を有効にすることもできます。これにより、オブジェクトに幅広いカテゴリの説明がラベル付けされます。

あなたが始める前に

  1. アプリにFirebaseをまだ追加していない場合は、スタートガイドの手順に従って追加してください。
  2. ポッドファイルにMLキットライブラリを含めます。l10n
    pod 'Firebase/MLVision', '6.25.0'
    pod 'Firebase/MLVisionObjectDetection', '6.25.0'
    
    プロジェクトのポッドをインストールまたは更新した後、必ず.xcworkspaceを使用してXcodeプロジェクトを開いてください。
  3. アプリで、Firebaseをインポートします。

    迅速

    import Firebase

    Objective-C

    @import Firebase;

1.オブジェクト検出器を構成します

オブジェクトの検出と追跡を開始するには、最初にVisionObjectDetectorのインスタンスを作成し、オプションでデフォルトから変更する検出器設定を指定します。

  1. VisionObjectDetectorOptionsオブジェクトを使用して、ユースケースに合わせてオブジェクト検出器を構成します。次の設定を変更できます。

    オブジェクト検出器の設定
    検出モード.stream (デフォルト)| .singleImage

    ストリームモード(デフォルト)では、オブジェクト検出器は非常に低いレイテンシで実行されますが、検出器の最初の数回の呼​​び出しで不完全な結果(不特定の境界ボックスやカテゴリなど)を生成する可能性があります。また、ストリームモードでは、検出器は追跡IDをオブジェクトに割り当てます。これを使用して、フレーム間でオブジェクトを追跡できます。このモードは、オブジェクトを追跡する場合、またはビデオストリームをリアルタイムで処理する場合など、低遅延が重要な場合に使用します。

    シングルイメージモードでは、オブジェクト検出器は、検出されたオブジェクトのバウンディングボックスと(分類を有効にしている場合)カテゴリが使用可能になるまで待機してから、結果を返します。結果として、検出待ち時間は潜在的に高くなります。また、シングルイメージモードでは、トラッキングIDは割り当てられません。レイテンシーが重要ではなく、部分的な結果を処理したくない場合は、このモードを使用します。

    複数のオブジェクトを検出して追跡するfalse (デフォルト)| true

    最大5つのオブジェクトを検出して追跡するか、最も目立つオブジェクトのみを追跡するか(デフォルト)。

    オブジェクトを分類するfalse (デフォルト)| true

    検出されたオブジェクトを大まかなカテゴリに分類するかどうか。有効にすると、オブジェクト検出器はオブジェクトを次のカテゴリに分類します:ファッション商品、食品、家庭用品、場所、植物、および不明。

    オブジェクト検出および追跡APIは、次の2つの主要なユースケース向けに最適化されています。

    • カメラのファインダーで最も目立つ物体のライブ検出と追跡
    • 静止画像内の複数のオブジェクトの検出

    これらのユースケース用にAPIを構成するには:

    迅速

    // Live detection and tracking
    let options = VisionObjectDetectorOptions()
    options.detectorMode = .stream
    options.shouldEnableMultipleObjects = false
    options.shouldEnableClassification = true  // Optional
    
    // Multiple object detection in static images
    let options = VisionObjectDetectorOptions()
    options.detectorMode = .singleImage
    options.shouldEnableMultipleObjects = true
    options.shouldEnableClassification = true  // Optional
    

    Objective-C

    // Live detection and tracking
    FIRVisionObjectDetectorOptions *options = [[FIRVisionObjectDetectorOptions alloc] init];
    options.detectorMode = FIRVisionObjectDetectorModeStream;
    options.shouldEnableMultipleObjects = NO;
    options.shouldEnableClassification = YES;  // Optional
    
    // Multiple object detection in static images
    FIRVisionObjectDetectorOptions *options = [[FIRVisionObjectDetectorOptions alloc] init];
    options.detectorMode = FIRVisionObjectDetectorModeSingleImage;
    options.shouldEnableMultipleObjects = YES;
    options.shouldEnableClassification = YES;  // Optional
    
  2. FirebaseVisionObjectDetectorのインスタンスを取得します。

    迅速

    let objectDetector = Vision.vision().objectDetector()
    
    // Or, to change the default settings:
    let objectDetector = Vision.vision().objectDetector(options: options)
    

    Objective-C

    FIRVisionObjectDetector *objectDetector = [[FIRVision vision] objectDetector];
    
    // Or, to change the default settings:
    FIRVisionObjectDetector *objectDetector = [[FIRVision vision] objectDetectorWithOptions:options];
    

2.オブジェクト検出器を実行します

オブジェクトを検出して追跡するには、ビデオの画像またはフレームごとに次の手順を実行します。ストリームモードを有効にした場合は、 CMSampleBufferRefからVisionImageオブジェクトを作成する必要があります。

  1. UIImageまたはCMSampleBufferRefを使用してVisionImageオブジェクトを作成します。

    UIImageを使用するには:

    1. 必要に応じて、 imageOrientationプロパティが.upになるように画像を回転します。
    2. 正しく回転されたUIImageを使用してVisionImageオブジェクトを作成します。ローテーションメタデータは指定しないでください。デフォルト値の.topLeftを使用する必要があります。

      迅速

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

    CMSampleBufferRefを使用するには:

    1. CMSampleBufferRefバッファーに含まれる画像データの方向を指定するVisionImageMetadataオブジェクトを作成します。

      画像の向きを取得するには:

      迅速

      func imageOrientation(
          deviceOrientation: UIDeviceOrientation,
          cameraPosition: AVCaptureDevice.Position
          ) -> VisionDetectorImageOrientation {
          switch deviceOrientation {
          case .portrait:
              return cameraPosition == .front ? .leftTop : .rightTop
          case .landscapeLeft:
              return cameraPosition == .front ? .bottomLeft : .topLeft
          case .portraitUpsideDown:
              return cameraPosition == .front ? .rightBottom : .leftBottom
          case .landscapeRight:
              return cameraPosition == .front ? .topRight : .bottomRight
          case .faceDown, .faceUp, .unknown:
              return .leftTop
          }
      }

      Objective-C

      - (FIRVisionDetectorImageOrientation)
          imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                                 cameraPosition:(AVCaptureDevicePosition)cameraPosition {
        switch (deviceOrientation) {
          case UIDeviceOrientationPortrait:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationLeftTop;
            } else {
              return FIRVisionDetectorImageOrientationRightTop;
            }
          case UIDeviceOrientationLandscapeLeft:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationBottomLeft;
            } else {
              return FIRVisionDetectorImageOrientationTopLeft;
            }
          case UIDeviceOrientationPortraitUpsideDown:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationRightBottom;
            } else {
              return FIRVisionDetectorImageOrientationLeftBottom;
            }
          case UIDeviceOrientationLandscapeRight:
            if (cameraPosition == AVCaptureDevicePositionFront) {
              return FIRVisionDetectorImageOrientationTopRight;
            } else {
              return FIRVisionDetectorImageOrientationBottomRight;
            }
          default:
            return FIRVisionDetectorImageOrientationTopLeft;
        }
      }

      次に、メタデータオブジェクトを作成します。

      迅速

      let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
      let metadata = VisionImageMetadata()
      metadata.orientation = imageOrientation(
          deviceOrientation: UIDevice.current.orientation,
          cameraPosition: cameraPosition
      )

      Objective-C

      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      AVCaptureDevicePosition cameraPosition =
          AVCaptureDevicePositionBack;  // Set to the capture device you used.
      metadata.orientation =
          [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                       cameraPosition:cameraPosition];
    2. CMSampleBufferRefオブジェクトと回転メタデータを使用してVisionImageオブジェクトを作成します。

      迅速

      let image = VisionImage(buffer: sampleBuffer)
      image.metadata = metadata

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
      image.metadata = metadata;
  2. VisionImageをオブジェクト検出器の画像処理メソッドの1つに渡します。非同期process(image:)メソッドまたは同期results()メソッドのいずれかを使用できます。

    オブジェクトを非同期で検出するには:

    迅速

    objectDetector.process(image) { detectedObjects, error in
      guard error == nil else {
        // Error.
        return
      }
      guard let detectedObjects = detectedObjects, !detectedObjects.isEmpty else {
        // No objects detected.
        return
      }
    
      // Success. Get object info here.
      // ...
    }
    

    Objective-C

    [objectDetector processImage:image
                      completion:^(NSArray<FIRVisionObject *> * _Nullable objects,
                                   NSError * _Nullable error) {
                        if (error == nil) {
                          return;
                        }
                        if (objects == nil | objects.count == 0) {
                          // No objects detected.
                          return;
                        }
    
                        // Success. Get object info here.
                        // ...
                      }];
    

    オブジェクトを同期的に検出するには:

    迅速

    var results: [VisionObject]? = nil
    do {
      results = try objectDetector.results(in: image)
    } catch let error {
      print("Failed to detect object with error: \(error.localizedDescription).")
      return
    }
    guard let detectedObjects = results, !detectedObjects.isEmpty else {
      print("Object detector returned no results.")
      return
    }
    
    // ...
    

    Objective-C

    NSError *error;
    NSArray<FIRVisionObject *> *objects = [objectDetector resultsInImage:image
                                                                   error:&error];
    if (error == nil) {
      return;
    }
    if (objects == nil | objects.count == 0) {
      // No objects detected.
      return;
    }
    
    // Success. Get object info here.
    // ...
    
  3. 画像プロセッサの呼び出しが成功すると、非同期メソッドと同期メソッドのどちらを呼び出したかに応じて、 VisionObjectのリストが完了ハンドラに渡されるか、リストが返されます。

    VisionObjectには、次のプロパティが含まれています。

    frame画像内のオブジェクトの位置を示すCGRect
    trackingID画像全体でオブジェクトを識別する整数。シングルイメージモードではゼロ。
    classificationCategoryオブジェクトの大まかなカテゴリ。オブジェクト検出器で分類が有効になっていない場合、これは常に.unknownです。
    confidenceオブジェクト分類の信頼値。オブジェクト検出器で分類が有効になっていない場合、またはオブジェクトが不明として分類されている場合、これはnilです。

    迅速

    // detectedObjects contains one item if multiple object detection wasn't enabled.
    for obj in detectedObjects {
      let bounds = obj.frame
      let id = obj.trackingID
    
      // If classification was enabled:
      let category = obj.classificationCategory
      let confidence = obj.confidence
    }
    

    Objective-C

    // The list of detected objects contains one item if multiple
    // object detection wasn't enabled.
    for (FIRVisionObject *obj in objects) {
      CGRect bounds = obj.frame;
      if (obj.trackingID) {
        NSInteger id = obj.trackingID.integerValue;
      }
    
      // If classification was enabled:
      FIRVisionObjectCategory category = obj.classificationCategory;
      float confidence = obj.confidence.floatValue;
    }
    

使いやすさとパフォーマンスの向上

最高のユーザーエクスペリエンスを得るには、アプリで次のガイドラインに従ってください。

  • オブジェクトの検出が成功するかどうかは、オブジェクトの視覚的な複雑さに依存します。視覚的特徴の数が少ないオブジェクトは、検出される画像の大部分を占める必要がある場合があります。検出したい種類のオブジェクトでうまく機能する入力をキャプチャするためのガイダンスをユーザーに提供する必要があります。
  • 分類を使用するときに、サポートされているカテゴリに明確に分類されないオブジェクトを検出する場合は、不明なオブジェクトに対して特別な処理を実装します。

また、[ML Kit Material Design showcase app] [showcase-link] {:.external}と、機械学習を利用した機能コレクションのMaterialDesignPatternsもご覧ください。

リアルタイムアプリケーションでストリーミングモードを使用する場合は、次のガイドラインに従って、最高のフレームレートを実現してください。

  • ほとんどのデバイスは適切なフレームレートを生成できないため、ストリーミングモードで複数のオブジェクト検出を使用しないでください。

  • 必要がない場合は分類を無効にします。

  • スロットルが検出器を呼び出します。検出器の実行中に新しいビデオフレームが使用可能になった場合は、フレームをドロップします。
  • 検出器の出力を使用して入力画像にグラフィックをオーバーレイする場合は、最初にMLキットから結果を取得してから、画像とオーバーレイを1つのステップでレンダリングします。そうすることで、入力フレームごとに1回だけ表示面にレンダリングします。例については、ショーケースサンプルアプリのpreviewOverlayViewクラスとFIRDetectionOverlayViewクラスを参照してください。