在 Apple 平台上使用 Firebase ML 標記圖像

您可以使用 Firebase ML 來標記圖像中識別的對象。有關此 API 功能的信息，請參閱概述。

在你開始之前

    如果您尚未將 Firebase 添加到您的應用中，請按照入門指南中的步驟進行操作。

    使用 Swift Package Manager 安裝和管理 Firebase 依賴項。

    1. 在 Xcode 中，打開應用程序項目，導航至File > Add Packages 。
    2. 出現提示時，添加 Firebase Apple 平台 SDK 存儲庫：
      3.   https://github.com/firebase/firebase-ios-sdk
    3. 選擇 Firebase ML 庫。
    4. 完成後，Xcode 將自動開始在後台解析並下載您的依賴項。

    接下來，執行一些應用內設置：

    1. 在您的應用中，導入 Firebase：

      迅速

      import FirebaseMLModelDownloader

      Objective-C

      @import FirebaseMLModelDownloader;

  1. 如果您尚未為您的項目啟用基於雲的 API，請立即執行此操作：

    1. 打開 Firebase 控制台的Firebase ML API 頁面。

    2. 如果您尚未將項目升級到 Blaze 定價計劃，請單擊升級來執行此操作。 （僅當您的項目不在 Blaze 計劃中時，系統才會提示您升級。）

      只有 Blaze 級別的項目才能使用基於雲的 API。

    3. 如果尚未啟用基於雲的 API，請單擊啟用基於雲的 API 。

現在您可以為圖像添加標籤了。

1. 準備輸入圖像

使用UIImage或CMSampleBufferRef創建VisionImage對象。

使用UIImage ：

  1. 如有必要，旋轉圖像，使其imageOrientation屬性為.up 。
  2. 使用正確旋轉的UIImage創建VisionImage對象。不要指定任何旋轉元數據 - 必須使用默認值.topLeft 。

    迅速

    let image = VisionImage(image: uiImage)

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

要使用CMSampleBufferRef ：

  1. 創建一個VisionImageMetadata對象，該對象指定CMSampleBufferRef緩衝區中包含的圖像數據的方向。

    要獲取圖像方向：

    迅速

    func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

    Objective-C

    - (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

    然後，創建元數據對象：

    迅速

    let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

    Objective-C

    FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];
  2. 使用CMSampleBufferRef對象和旋轉元數據創建VisionImage對象：

    迅速

    let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

    Objective-C

    FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;

2. 配置並運行圖像標記器

要標記圖像中的對象，請將VisionImage對像傳遞給VisionImageLabeler的processImage()方法。

  1. 首先，獲取VisionImageLabeler的實例：

    迅速

    let labeler = Vision.vision().cloudImageLabeler()

// Or, to set the minimum confidence required:
// let options = VisionCloudImageLabelerOptions()
// options.confidenceThreshold = 0.7
// let labeler = Vision.vision().cloudImageLabeler(options: options)

    Objective-C

    FIRVisionImageLabeler *labeler = [[FIRVision vision] cloudImageLabeler];

// Or, to set the minimum confidence required:
// FIRVisionCloudImageLabelerOptions *options =
//         [[FIRVisionCloudImageLabelerOptions alloc] init];
// options.confidenceThreshold = 0.7;
// FIRVisionImageLabeler *labeler =
//         [[FIRVision vision] cloudImageLabelerWithOptions:options];

  2. 然後，將圖像傳遞給processImage()方法：

    迅速

    labeler.process(image) { labels, error in
    guard error == nil, let labels = labels else { return }

    // Task succeeded.
    // ...
}

    Objective-C

    [labeler processImage:image
           completion:^(NSArray<FIRVisionImageLabel *> *_Nullable labels,
                        NSError *_Nullable error) {
               if (error != nil) { return; }

               // Task succeeded.
               // ...
           }];

3. 獲取帶標籤對象的信息

如果圖像標記成功， VisionImageLabel對象的數組將被傳遞到完成處理程序。從每個對像中，您可以獲得有關圖像中識別的特徵的信息。

例如：

迅速

for label in labels {
    let labelText = label.text
    let entityId = label.entityID
    let confidence = label.confidence
}

Objective-C

for (FIRVisionImageLabel *label in labels) {
   NSString *labelText = label.text;
   NSString *entityId = label.entityID;
   NSNumber *confidence = label.confidence;
}

下一步