Join us for Firebase Summit on November 10, 2021. Tune in to learn how Firebase can help you accelerate app development, release with confidence, and scale with ease. Register

iOSでFirebaseMLを使用して画像にラベルを付ける

Firebase MLを使用して、画像で認識されたオブジェクトにラベルを付けることができます。参照してください。概要このAPIの機能については、を。

あなたが始める前に

  1. あなたはすでにあなたのアプリにFirebaseを追加していない場合は、の手順に従って、それを行うセットアップガイドを
  2. :あなたのPodfileでFirebase含める
    pod 'Firebase/MLVision'
    
    あなたのプロジェクトのポッドをインストールまたはアップデートした後、その使用してXcodeプロジェクトを開くようにしてください.xcworkspace
  3. アプリで、Firebaseをインポートします。

    迅速

    import Firebase

    Objective-C

    @import Firebase;
  4. プロジェクトでクラウドベースのAPIをまだ有効にしていない場合は、今すぐ有効にしてください。

    1. 開きFirebase MLのAPIページFirebaseコンソールのを。
    2. すでにブレイズ・プライシング計画にプロジェクトをアップグレードしていない場合は、そうするためにアップグレード]をクリックします。 (プロジェクトがBlazeプランに含まれていない場合にのみ、アップグレードするように求められます。)

      BlazeレベルのプロジェクトのみがクラウドベースのAPIを使用できます。

    3. クラウドベースのAPIがすでに有効になっていない場合は、クラウドベースのAPIを有効にする]をクリックします。

これで、画像にラベルを付ける準備ができました。

1.入力画像を準備します

作成VisionImage使用して、オブジェクトUIImageまたはCMSampleBufferRef

使用するにはUIImage

  1. 必要であればそのように、画像を回転させるimageOrientationプロパティがある.up
  2. 作成VisionImage正しく回転使ってオブジェクトをUIImage 。任意の回転のメタデータ・デフォルト値、指定しないでください.topLeft 、使用する必要があります。

    迅速

    let image = VisionImage(image: uiImage)

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

使用するにはCMSampleBufferRef

  1. 作成VisionImageMetadataオブジェクトをその指定に含まれる画像データの向きCMSampleBufferRefバッファ。

    画像の向きを取得するには:

    迅速

    func imageOrientation(
        deviceOrientation: UIDeviceOrientation,
        cameraPosition: AVCaptureDevice.Position
        ) -> VisionDetectorImageOrientation {
        switch deviceOrientation {
        case .portrait:
            return cameraPosition == .front ? .leftTop : .rightTop
        case .landscapeLeft:
            return cameraPosition == .front ? .bottomLeft : .topLeft
        case .portraitUpsideDown:
            return cameraPosition == .front ? .rightBottom : .leftBottom
        case .landscapeRight:
            return cameraPosition == .front ? .topRight : .bottomRight
        case .faceDown, .faceUp, .unknown:
            return .leftTop
        }
    }

    Objective-C

    - (FIRVisionDetectorImageOrientation)
        imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                               cameraPosition:(AVCaptureDevicePosition)cameraPosition {
      switch (deviceOrientation) {
        case UIDeviceOrientationPortrait:
          if (cameraPosition == AVCaptureDevicePositionFront) {
            return FIRVisionDetectorImageOrientationLeftTop;
          } else {
            return FIRVisionDetectorImageOrientationRightTop;
          }
        case UIDeviceOrientationLandscapeLeft:
          if (cameraPosition == AVCaptureDevicePositionFront) {
            return FIRVisionDetectorImageOrientationBottomLeft;
          } else {
            return FIRVisionDetectorImageOrientationTopLeft;
          }
        case UIDeviceOrientationPortraitUpsideDown:
          if (cameraPosition == AVCaptureDevicePositionFront) {
            return FIRVisionDetectorImageOrientationRightBottom;
          } else {
            return FIRVisionDetectorImageOrientationLeftBottom;
          }
        case UIDeviceOrientationLandscapeRight:
          if (cameraPosition == AVCaptureDevicePositionFront) {
            return FIRVisionDetectorImageOrientationTopRight;
          } else {
            return FIRVisionDetectorImageOrientationBottomRight;
          }
        default:
          return FIRVisionDetectorImageOrientationTopLeft;
      }
    }

    次に、メタデータオブジェクトを作成します。

    迅速

    let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
    let metadata = VisionImageMetadata()
    metadata.orientation = imageOrientation(
        deviceOrientation: UIDevice.current.orientation,
        cameraPosition: cameraPosition
    )

    Objective-C

    FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
    AVCaptureDevicePosition cameraPosition =
        AVCaptureDevicePositionBack;  // Set to the capture device you used.
    metadata.orientation =
        [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                     cameraPosition:cameraPosition];
  2. 作成VisionImage使用してオブジェクトをCMSampleBufferRefオブジェクトと回転のメタデータを:

    迅速

    let image = VisionImage(buffer: sampleBuffer)
    image.metadata = metadata

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
    image.metadata = metadata;

2.画像​​ラベラーを構成して実行します

画像内のラベルオブジェクトに渡すVisionImageにオブジェクトをVisionImageLabelerprocessImage()メソッド。

  1. まず、のインスタンスを取得VisionImageLabeler

    迅速

    let labeler = Vision.vision().cloudImageLabeler()
    
    // Or, to set the minimum confidence required:
    // let options = VisionCloudImageLabelerOptions()
    // options.confidenceThreshold = 0.7
    // let labeler = Vision.vision().cloudImageLabeler(options: options)
    

    Objective-C

    FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];
    
    // Or, to set the minimum confidence required:
    // FIRVisionCloudImageLabelerOptions *options =
    //         [[FIRVisionCloudImageLabelerOptions alloc] init];
    // options.confidenceThreshold = 0.7;
    // FIRVisionImageLabeler *labeler =
    //         [[FIRVision vision] cloudImageLabelerWithOptions:options];
    
  2. その後に画像を渡すprocessImage()メソッド:

    迅速

    labeler.process(image) { labels, error in
        guard error == nil, let labels = labels else { return }
    
        // Task succeeded.
        // ...
    }
    

    Objective-C

    [labeler processImage:image
               completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                            NSError *_Nullable error) {
                   if (error != nil) { return; }
    
                   // Task succeeded.
                   // ...
               }];
    

3.ラベル付けされたオブジェクトに関する情報を取得します

画像のラベル付けが成功した場合、の配列VisionImageLabelオブジェクトが完了ハンドラに渡されます。各オブジェクトから、画像で認識されている特徴に関する情報を取得できます。

例えば:

迅速

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

次のステップ