Reconhecer pontos de referência com o kit de aprendizado de máquina no iOS

Comece a usar o kit de aprendizado de máquina para reconhecer pontos de referência conhecidos em uma imagem.

Consulte o guia de início rápido do kit de aprendizado de máquina no GitHub para ver um exemplo desta API em uso.

Antes de começar

  1. Se você ainda não adicionou o Firebase ao seu app, siga as etapas no guia de primeiros passos.
  2. Inclua as bibliotecas do kit de aprendizado de máquina no seu Podfile:
    pod 'Firebase/Core'
    pod 'Firebase/MLVision'
    
    Depois de instalar ou atualizar os pods do seu projeto, abra o projeto do Xcode usando o .xcworkspace.
  3. Importe o Firebase para seu app:

    Swift

    import Firebase

    Objective-C

    @import Firebase;
  4. Se você não fez upgrade do seu projeto para um plano Blaze, faça isso no Firebase console. Somente projetos no nível do Blaze podem usar as Cloud Vision APIs.
  5. Ative a Cloud Vision API no Google Cloud Console:
    1. Abra a Cloud Vision API na biblioteca de APIs do Cloud Console.
    2. Verifique se seu projeto do Firebase está selecionado no menu localizado na parte superior da página.
    3. Se a API ainda não estiver ativada, clique em Ativar.

Configurar o detector de ponto de referência

Por padrão, o detector do Cloud usa a versão estável do modelo e retorna até 10 resultados. Se você quiser alterar alguma dessas configurações, especifique-as com um objeto VisionCloudDetectorOptions conforme o modelo a seguir:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

Na próxima etapa, transmita o VisionCloudDetectorOptions ao criar o objeto de detecção do Cloud.

Executar o detector de ponto de referência

Para reconhecer pontos de referência em uma imagem, transmita a imagem como UIImage ou CMSampleBufferRef para o método detect(in:) do VisionCloudLandmarkDetector:

  1. Consiga uma instância do VisionCloudLandmarkDetector:

    Swift

    lazy var vision = Vision.vision()
    let cloudDetector = vision.cloudLandmarkDetector(options: options)
    // Or, to use the default settings:
    // let cloudDetector = vision.cloudLandmarkDetector()
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLandmarkDetector *landmarkDetector =
    //     [vision cloudLandmarkDetectorWithOptions:options];
    
  2. Crie um objeto VisionImage usando UIImage ou CMSampleBufferRef.

    Para usar uma UIImage, faça o seguinte:

    1. Se necessário, gire a imagem para que a propriedade imageOrientation seja definida como .up.
    2. Crie um objeto VisionImage usando a UIImage girada corretamente. Não especifique nenhum metadado de rotação. É preciso usar o valor padrão .topLeft.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    Para usar uma CMSampleBufferRef:

    1. Crie um objeto VisionImageMetadata que especifique a orientação dos dados de imagem contidos no buffer CMSampleBufferRef.

      Por exemplo, se os dados da imagem precisarem ser girados em 90 graus no sentido horário para ficarem na vertical:

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. Crie um objeto VisionImage usando o CMSampleBufferRef e os metadados de rotação:

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. Em seguida, transmita a imagem para o método detect(in:):

    Swift

    cloudDetector.detect(in: visionImage) { landmarks, error in
      guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
        // ...
        return
      }
    
      // Recognized landmarks
      // ...
    }
    

    Objective-C

    [landmarkDetector detectInImage:image
                         completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                      NSError *error) {
      if (error != nil) {
        return;
      } else if (landmarks != nil) {
        // Got landmarks
      }
    }];
    

Ver informações sobre os pontos de referência reconhecidos

Se o reconhecimento de pontos de referência ocorrer sem erros, uma matriz de objetos VisionCloudLandmark será transmitida para o gerenciador de conclusão. Você pode receber informações sobre um ponto de referência reconhecido na imagem em cada objeto.

Por exemplo:

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.