iOS에서 ML Kit를 사용하여 랜드마크 인식

ML Kit를 사용하면 이미지 속 유명 랜드마크를 인식할 수 있습니다.

이 API의 사용 예는 GitHub의 ML Kit 빠른 시작 샘플을 참조하세요.

시작하기 전에

  1. 앱에 Firebase를 아직 추가하지 않은 경우 시작 가이드의 단계에 따라 추가합니다.
  2. Podfile에 ML Kit 라이브러리를 포함합니다.
    pod 'Firebase/Core'
    pod 'Firebase/MLVision'
    
    프로젝트의 포드를 설치하거나 업데이트한 후 .xcworkspace를 사용하여 Xcode 프로젝트를 열어야 합니다.
  3. 앱에서 Firebase를 가져옵니다.

    Swift

    import Firebase

    Objective-C

    @import Firebase;
  4. 프로젝트를 Blaze 요금제로 업그레이드하지 않았으면 Firebase 콘솔에서 업그레이드합니다. Blaze 수준 프로젝트만 Cloud Vision API를 사용할 수 있습니다.
  5. Google Cloud Console에서 Cloud Vision API를 사용 설정합니다.
    1. Cloud Console API 라이브러리에서 Cloud Vision API를 엽니다.
    2. 페이지 상단의 메뉴에서 Firebase 프로젝트가 선택되었는지 확인합니다.
    3. API가 아직 사용 설정되지 않은 경우 사용 설정을 클릭합니다.

랜드마크 감지기 구성

기본적으로 Cloud 감지기에서는 모델의 정식 버전을 사용해 최대 10개의 결과를 반환합니다. 모델 버전이나 최대 결과 수 설정을 변경하려면 다음 예와 같이 VisionCloudDetectorOptions 객체를 사용하여 지정합니다.

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

다음 단계에서 Cloud 감지기 객체를 만들 때 VisionCloudDetectorOptions 객체를 전달합니다.

랜드마크 감지기 실행

이미지 속 랜드마크를 인식하려면 이미지를 UIImage 또는 CMSampleBufferRefVisionCloudLandmarkDetectordetect(in:) 메소드에 전달합니다.

  1. VisionCloudLandmarkDetector 인스턴스를 가져옵니다.

    Swift

    lazy var vision = Vision.vision()
    let cloudDetector = vision.cloudLandmarkDetector(options: options)
    // Or, to use the default settings:
    // let cloudDetector = vision.cloudLandmarkDetector()
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLandmarkDetector *landmarkDetector =
    //     [vision cloudLandmarkDetectorWithOptions:options];
    
  2. UIImage 또는 CMSampleBufferRef를 사용하여 VisionImage 객체를 만듭니다.

    UIImage를 사용하는 방법은 다음과 같습니다.

    1. 필요한 경우 imageOrientation 속성이 .up이 되도록 이미지를 회전합니다.
    2. 올바르게 회전된 UIImage를 사용하여 VisionImage 객체를 만듭니다. 회전 메타데이터를 지정하지 마세요. 기본값인 .topLeft를 사용해야 합니다.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    CMSampleBufferRef를 사용하는 방법은 다음과 같습니다.

    1. CMSampleBufferRef 버퍼에 포함된 이미지 데이터의 방향을 지정하는 VisionImageMetadata 객체를 만듭니다.

      예를 들어 다음은 수직 방향이 되려면 이미지 데이터를 시계 방향으로 90도 회전해야 하는 경우입니다.

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. CMSampleBufferRef 객체 및 회전 메타데이터를 사용하여 VisionImage 객체를 만듭니다.

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. 그런 다음 이미지를 detect(in:) 메소드에 전달합니다.

    Swift

    cloudDetector.detect(in: visionImage) { landmarks, error in
      guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
        // ...
        return
      }
    
      // Recognized landmarks
      // ...
    }
    

    Objective-C

    [landmarkDetector detectInImage:image
                         completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                      NSError *error) {
      if (error != nil) {
        return;
      } else if (landmarks != nil) {
        // Got landmarks
      }
    }];
    

인식된 랜드마크 정보 가져오기

랜드마크 인식에 성공하면 VisionCloudLandmark 객체 배열이 완료 핸들러에 전달됩니다. 이미지에서 인식한 랜드마크에 대한 정보를 각 객체에서 가져올 수 있습니다.

예:

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.