iOS에서 ML Kit를 사용하여 이미지 라벨 지정

ML Kit를 통해 기기별 모델 또는 클라우드 모델을 사용하여 이미지에서 인식된 객체에 라벨을 지정할 수 있습니다. 각 방법의 이점에 대해 알아보려면 개요를 참조하세요.

이 API의 사용 예는 GitHub의 ML Kit 빠른 시작 샘플을 참조하세요.

시작하기 전에

  1. 앱에 Firebase를 아직 추가하지 않은 경우 시작 가이드의 단계에 따라 추가합니다.
  2. Podfile에 ML Kit 라이브러리를 포함합니다.
    pod 'Firebase/Core'
    pod 'Firebase/MLVision'

    # If using the on-device API: pod 'Firebase/MLVisionLabelModel'

    프로젝트의 포드를 설치하거나 업데이트한 후 .xcworkspace를 사용하여 Xcode 프로젝트를 열어야 합니다.
  3. 앱에서 Firebase를 가져옵니다.

    Swift

    import Firebase

    Objective-C

    @import Firebase;
  4. 클라우드 기반 모델을 사용하려는 경우 프로젝트를 Blaze 요금제로 업그레이드하지 않았으면 Firebase 콘솔에서 업그레이드합니다. Blaze 수준 프로젝트만 Cloud Vision API를 사용할 수 있습니다.
  5. 클라우드 기반 모델을 사용하려면 Cloud Vision API도 사용 설정합니다.
    1. Cloud Console API 라이브러리에서 Cloud Vision API를 엽니다.
    2. 페이지 상단의 메뉴에서 Firebase 프로젝트가 선택되었는지 확인합니다.
    3. API가 아직 사용 설정되지 않은 경우 사용 설정을 클릭합니다.
    기기별 모델만 사용하려는 경우 이 단계를 건너뛸 수 있습니다.

이제 기기별 모델 또는 클라우드 기반 모델을 사용하여 이미지에 라벨을 지정할 수 있습니다.


기기별 이미지 라벨 지정

기기별 이미지 라벨 지정 모델을 사용하려면 아래에 설명된 대로 이미지 라벨 지정기를 구성하고 실행합니다.

1. 이미지 라벨 지정기 구성

기본적으로 기기별 이미지 라벨 지정기는 신뢰도 점수가 0.5점 이상인 라벨만 반환합니다. 이 설정을 변경하려면 다음 예와 같이 VisionLabelDetectorOptions 객체를 만듭니다.

Swift

let options = VisionLabelDetectorOptions(
  confidenceThreshold: Constants.labelConfidenceThreshold
)

Objective-C

FIRVisionLabelDetectorOptions *options =
    [[FIRVisionLabelDetectorOptions alloc] initWithConfidenceThreshold:0.6f];

2. 이미지 라벨 지정기 실행

이미지 속 항목을 인식하고 라벨을 지정하려면 이미지를 UIImage 또는 CMSampleBufferRefVisionLabelDetectordetect(in:) 메소드에 전달합니다.

  1. VisionLabelDetector의 인스턴스를 가져옵니다.

    Swift

    lazy var vision = Vision.vision()
    let labelDetector = vision.labelDetector(options: options)
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionLabelDetector *labelDetector = [vision labelDetector];
    // Or, to change the default settings:
    // FIRVisionLabelDetector *labelDetector =
    //     [vision labelDetectorWithOptions:options];
    
  2. UIImage 또는 CMSampleBufferRef를 사용하여 VisionImage 객체를 만듭니다.

    UIImage를 사용하는 방법은 다음과 같습니다.

    1. 필요한 경우 imageOrientation 속성이 .up이 되도록 이미지를 회전합니다.
    2. 올바르게 회전된 UIImage를 사용하여 VisionImage 객체를 만듭니다. 회전 메타데이터를 지정하지 마세요. 기본값인 .topLeft를 사용해야 합니다.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    CMSampleBufferRef를 사용하는 방법은 다음과 같습니다.

    1. CMSampleBufferRef 버퍼에 포함된 이미지 데이터의 방향을 지정하는 VisionImageMetadata 객체를 만듭니다.

      예를 들어 다음은 수직 방향이 되려면 이미지 데이터를 시계 방향으로 90도 회전해야 하는 경우입니다.

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. CMSampleBufferRef 객체 및 회전 메타데이터를 사용하여 VisionImage 객체를 만듭니다.

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. 그런 다음 이미지를 detect(in:) 메소드에 전달합니다.

    Swift

    labelDetector.detect(in: visionImage) { features, error in
      guard error == nil, let features = features, !features.isEmpty else {
        // ...
        return
      }
    
      // ...
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionLabel.
    }];
    

3. 라벨이 지정된 객체 정보 가져오기

이미지에 라벨을 지정하는 데 성공하면 VisionLabel 객체 배열이 완료 핸들러에 전달됩니다. 이미지에서 인식한 특징에 대한 정보를 각 객체에서 가져올 수 있습니다.

예를 들면 다음과 같습니다.

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityID
  let confidence = label.confidence
}

Objective-C

for (FIRVisionLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityID;
  float confidence = label.confidence;
}

클라우드 이미지 라벨 지정

클라우드 기반 이미지 라벨 지정 모델을 사용하려면 아래에 설명된 대로 이미지 라벨 지정기를 구성하고 실행합니다.

1. 이미지 라벨 지정기 구성

기본적으로 Cloud 감지기에서는 모델의 정식 버전을 사용해 최대 10개의 결과를 반환합니다. 이러한 설정을 변경하려면 다음 예와 같이 VisionCloudDetectorOptions 객체를 사용하여 지정합니다.

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

FIRVisionCloudDetectorOptions *options =
    [[FIRVisionCloudDetectorOptions alloc] init];
options.modelType = FIRVisionCloudModelTypeLatest;
options.maxResults = 20;

다음 단계에서 Cloud 감지기 객체를 만들 때 VisionCloudDetectorOptions 객체를 전달합니다.

2. 이미지 라벨 지정기 실행

이미지 속 항목을 인식하고 라벨을 지정하려면 이미지를 UIImage 또는 CMSampleBufferRefVisionCloudLabelDetectordetect(in:) 메소드에 전달합니다.

  1. VisionCloudLabelDetector의 인스턴스를 가져옵니다.

    Swift

    let labelDetector = vision.cloudLabelDetector()
    // Or, to change the default settings:
    // let labelDetector = Vision.vision().cloudLabelDetector(options: options)

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLabelDetector *labelDetector = [vision cloudLabelDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLabelDetector *labelDetector =
    //     [vision cloudLabelDetectorWithOptions:options];
    
  2. UIImage 또는 CMSampleBufferRef를 사용하여 VisionImage 객체를 만듭니다.

    UIImage를 사용하는 방법은 다음과 같습니다.

    1. 필요한 경우 imageOrientation 속성이 .up이 되도록 이미지를 회전합니다.
    2. 올바르게 회전된 UIImage를 사용하여 VisionImage 객체를 만듭니다. 회전 메타데이터를 지정하지 마세요. 기본값인 .topLeft를 사용해야 합니다.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    CMSampleBufferRef를 사용하는 방법은 다음과 같습니다.

    1. CMSampleBufferRef 버퍼에 포함된 이미지 데이터의 방향을 지정하는 VisionImageMetadata 객체를 만듭니다.

      예를 들어 다음은 수직 방향이 되려면 이미지 데이터를 시계 방향으로 90도 회전해야 하는 경우입니다.

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. CMSampleBufferRef 객체 및 회전 메타데이터를 사용하여 VisionImage 객체를 만듭니다.

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. 그런 다음 이미지를 detect(in:) 메소드에 전달합니다.

    Swift

      labelDetector.detect(in: visionImage) { labels, error in
        guard error == nil, let labels = labels, !labels.isEmpty else {
          // ...
          return
        }
    
        // Labeled image
        // START_EXCLUDE
        self.resultsText = labels.map { label -> String in
          "Label: \(String(describing: label.label ?? "")), " +
            "Confidence: \(label.confidence ?? 0), " +
          "EntityID: \(label.entityId ?? "")"
          }.joined(separator: "\n")
        self.showResults()
      }
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionCloudLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionCloudLabel.
    }];
    

3. 라벨이 지정된 객체 정보 가져오기

이미지에 라벨을 지정하는 데 성공하면 VisionCloudLabel 객체 배열이 완료 핸들러에 전달됩니다. 이미지에서 인식한 항목에 대한 정보를 각 객체에서 가져올 수 있습니다.

예:

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityId
  let confidence = label.confidence
}

Objective-C

for (FIRVisionCloudLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityId;
  float confidence = [label.confidence floatValue];
}

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.