使用 AutoML 训练的模型给图片加标签（Apple 平台）

在您使用 AutoML Vision Edge 训练自己的模型后，就可以在应用中用它给图片加标签。

您可以通过以下两种方式集成通过 AutoML Vision Edge 训练的模型。您可以将模型的文件复制到 Xcode 项目以捆绑该模型，也可以从 Firebase 动态下载该模型。

模型捆绑选项
在您的应用中捆绑	模型是软件包的一部分即使 Apple 设备处于离线状态，模型也可立即使用不需要 Firebase 项目
使用 Firebase 进行托管	通过将模型上传到 Firebase Machine Learning 来托管该模型减小应用软件包大小按需下载模型无需重新发布应用即可推送模型更新使用 Firebase Remote Config 轻松进行 A/B 测试需要 Firebase 项目

准备工作

在 Podfile 中添加机器学习套件库：

如需将模型与您的应用捆绑在一起，请执行以下操作：
```
pod 'GoogleMLKit/ImageLabelingCustom'
```
如需从 Firebase 动态下载模型，请添加 LinkFirebase 依赖项：
```
pod 'GoogleMLKit/ImageLabelingCustom'
pod 'GoogleMLKit/LinkFirebase'
```
安装或更新项目的 Pod 之后，请使用 Xcode 项目的 .xcworkspace 来打开项目。Xcode 12.2 版或更高版本支持机器学习套件。
如果您想下载模型，请务必将 Firebase 添加到您的 Android 项目（如果尚未添加）。捆绑模型时不需要这样做。

1. 加载模型

配置本地模型来源

如需将模型与您的应用捆绑在一起，请执行以下操作：

将模型及其元数据自您从 Firebase 控制台下载的 zip 归档文件解压缩到一个文件夹：
```
your_model_directory
  |____dict.txt
  |____manifest.json
  |____model.tflite
```
所有这三个文件必须位于同一文件夹中。我们建议您依所下载文件原样使用这些文件，不要修改（包括文件名）。
将文件夹复制到 Xcode 项目，并在执行此操作时注意选中 Create folder references。模型文件和元数据将包含在应用软件包中，并提供给机器学习套件使用。

创建一个 LocalModel 对象，指定模型清单文件的路径：

Swift

guard let manifestPath = Bundle.main.path(
    forResource: "manifest",
    ofType: "json",
    inDirectory: "your_model_directory"
) else { return true }
let localModel = LocalModel(manifestPath: manifestPath)

Objective-C

NSString *manifestPath =
    [NSBundle.mainBundle pathForResource:@"manifest"
                                  ofType:@"json"
                             inDirectory:@"your_model_directory"];
MLKLocalModel *localModel =
    [[MLKLocalModel alloc] initWithManifestPath:manifestPath];

配置 Firebase 托管的模型来源

如需使用远程托管的模型，请创建一个 CustomRemoteModel 对象，指定您在发布该模型时分配给模型的名称：

Swift

// Initialize the model source with the name you assigned in
// the Firebase console.
let remoteModelSource = FirebaseModelSource(name: "your_remote_model")
let remoteModel = CustomRemoteModel(remoteModelSource: remoteModelSource)

Objective-C

// Initialize the model source with the name you assigned in
// the Firebase console.
MLKFirebaseModelSource *firebaseModelSource =
    [[MLKFirebaseModelSource alloc] initWithName:@"your_remote_model"];
MLKCustomRemoteModel *remoteModel =
    [[MLKCustomRemoteModel alloc] initWithRemoteModelSource:firebaseModelSource];

然后，启动模型下载任务，指定您希望允许下载的条件。如果模型不在设备上，或模型有较新的版本，则任务将从 Firebase 异步下载模型：

Swift

let downloadConditions = ModelDownloadConditions(
  allowsCellularAccess: true,
  allowsBackgroundDownloading: true
)

let downloadProgress = ModelManager.modelManager().download(
  remoteModel,
  conditions: downloadConditions
)

Objective-C

MLKModelDownloadConditions *downloadConditions =
    [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
                                         allowsBackgroundDownloading:YES];

NSProgress *downloadProgress =
    [[MLKModelManager modelManager] downloadRemoteModel:remoteModel
                                             conditions:downloadConditions];

许多应用会通过其初始化代码启动下载任务，但您可以在需要使用该模型之前随时启动下载任务。

根据模型创建图片标记器

配置模型来源后，根据其中一个模型创建 ImageLabeler 对象。

如果您只有本地捆绑的模型，只需根据您的 LocalModel 对象创建一个标记器，然后配置您需要的置信度得分阈值（请参阅评估您的模型）：

Swift

let options = CustomImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = NSNumber(value: 0.0)  // Evaluate your model in the Cloud console
                                                    // to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options)

Objective-C

CustomImageLabelerOptions *options =
    [[CustomImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = @(0.0f);  // Evaluate your model in the Cloud console
                                        // to determine an appropriate value.
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

如果您使用的是远程托管的模型，则必须在运行之前检查该模型是否已下载。您可以使用模型管理器的 isModelDownloaded(remoteModel:) 方法检查模型下载任务的状态。

虽然您只需在运行标记器之前确认这一点，但如果您同时拥有远程托管模型和本地捆绑模型，则可能需要在实例化 ImageLabeler 时执行此项检查：如果已下载，则根据远程模型创建标记器，否则根据本地模型进行创建。

Swift

var options: CustomImageLabelerOptions
if (ModelManager.modelManager().isModelDownloaded(remoteModel)) {
  options = CustomImageLabelerOptions(remoteModel: remoteModel)
} else {
  options = CustomImageLabelerOptions(localModel: localModel)
}
options.confidenceThreshold = NSNumber(value: 0.0)  // Evaluate your model in the Firebase console
                                                    // to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKCustomImageLabelerOptions *options;
if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) {
  options = [[MLKCustomImageLabelerOptions alloc] initWithRemoteModel:remoteModel];
} else {
  options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
}
options.confidenceThreshold = @(0.0f);  // Evaluate your model in the Firebase console
                                        // to determine an appropriate value.
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

如果您只有远程托管的模型，则应停用与模型相关的功能（例如灰显或隐藏部分界面），直到您确认模型已下载。

您可以将观察者附加到默认通知中心，以获取模型下载状态。请务必在观察者块中使用对 self 的弱引用，因为下载可能需要一些时间，并且源对象可能到下载完成才会被释放。例如：

Swift

NotificationCenter.default.addObserver(
    forName: .mlkitMLModelDownloadDidSucceed,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel,
        model.name == "your_remote_model"
        else { return }
    // The model was downloaded and is available on the device
}

NotificationCenter.default.addObserver(
    forName: .mlkitMLModelDownloadDidFail,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel
        else { return }
    let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
    // ...
}

Objective-C

__weak typeof(self) weakSelf = self;

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidSucceedNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel];
              if ([model.name isEqualToString:@"your_remote_model"]) {
                // The model was downloaded and is available on the device
              }
            }];

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidFailNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError];
            }];

2. 准备输入图片

使用 UIImage 或 CMSampleBufferRef 创建一个 VisionImage 对象。

如果您使用的是 UIImage，请按以下步骤操作：

使用 UIImage 创建一个 VisionImage 对象。请务必指定正确的 .orientation。

Swift

let image = VisionImage(image: uiImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

如果您使用的是 CMSampleBufferRef，请按以下步骤操作：

指定 CMSampleBufferRef 缓冲区中所含图片数据的方向。

如需获取图片方向，请运行以下命令：

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return position == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                      : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return position == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                      : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return position == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                      : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return position == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                      : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

使用 CMSampleBufferRef 对象和方向创建一个 VisionImage 对象：

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. 运行图片标记器

异步：

Swift

imageLabeler.process(image) { labels, error in
    guard error == nil, let labels = labels, !labels.isEmpty else {
        // Handle the error.
        return
    }
    // Show results.
}

Objective-C

[imageLabeler
    processImage:image
      completion:^(NSArray<MLKImageLabel *> *_Nullable labels,
                   NSError *_Nullable error) {
        if (label.count == 0) {
            // Handle the error.
            return;
        }
        // Show results.
     }];

同步：

Swift

var labels: [ImageLabel]
do {
    labels = try imageLabeler.results(in: image)
} catch let error {
    // Handle the error.
    return
}
// Show results.

Objective-C

NSError *error;
NSArray<MLKImageLabel *> *labels =
    [imageLabeler resultsInImage:image error:&error];
// Show results or handle the error.

4. 获取有关已加标签的对象的信息

如果给图片添加标签的操作成功，则会返回一组 ImageLabel。每个 ImageLabel 代表在图片中加了标签的某个事物。您可以获取每个标签的文本说明（如果在 TensorFlow Lite 模型文件的元数据中可用）、置信度分数和索引。例如：

Swift

for label in labels {
  let labelText = label.text
  let confidence = label.confidence
  let index = label.index
}

Objective-C

for (MLKImageLabel *label in labels) {
  NSString *labelText = label.text;
  float confidence = label.confidence;
  NSInteger index = label.index;
}

提高实时性能的相关提示

如果要在实时应用中给图片加标签，请遵循以下准则以实现最佳帧速率：

限制检测器的调用次数。如果在检测器运行时有新的视频帧可用，请丢弃该帧。
如果要将检测器的输出作为图形叠加在输入图片上，请先获取结果，然后在一个步骤中完成图片的呈现和叠加。采用这一方法，每个输入帧只需在显示表面呈现一次。如需查看示例，请参阅示例应用中的 previewOverlayView 和 FIRDetectionOverlayView 类。

使用 AutoML 训练的模型给图片加标签（Apple 平台） 使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

准备工作

1. 加载模型

配置本地模型来源

Swift

Objective-C

配置 Firebase 托管的模型来源

Swift

Objective-C

Swift

Objective-C

根据模型创建图片标记器

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

2. 准备输入图片

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. 运行图片标记器

Swift

Objective-C

Swift

Objective-C

4. 获取有关已加标签的对象的信息

Swift

Objective-C

提高实时性能的相关提示

使用 AutoML 训练的模型给图片加标签（Apple 平台）