Rotular imagens com o kit de aprendizado de máquina no iOS

Você pode usar o kit de aprendizado de máquina para rotular objetos reconhecidos em uma imagem, usando um modelo no dispositivo ou baseado na nuvem. Consulte a visão geral para saber mais sobre os benefícios de cada abordagem.

Consulte o guia de início rápido do kit de aprendizado de máquina no GitHub para ver um exemplo desta API em uso.

Antes de começar

  1. Se você ainda não adicionou o Firebase ao seu app, siga as etapas no guia de primeiros passos.
  2. Inclua as bibliotecas do kit de aprendizado de máquina no seu Podfile:
    pod 'Firebase/Core'
    pod 'Firebase/MLVision'

    # If using the on-device API: pod 'Firebase/MLVisionLabelModel'

    Depois de instalar ou atualizar os pods do seu projeto, abra o projeto do Xcode usando o .xcworkspace.
  3. Importe o Firebase para seu app:

    Swift

    import Firebase

    Objective-C

    @import Firebase;
  4. Se você quiser usar o modelo baseado em nuvem e não tiver feito o upgrade do seu projeto para um plano Blaze, faça isso no Firebase console. Somente projetos no nível do Blaze podem usar as Cloud Vision APIs.
  5. Se você quiser usar o modelo baseado em nuvem, ative também a Cloud Vision API:
    1. Abra a Cloud Vision API na biblioteca de APIs do Cloud Console.
    2. Verifique se seu projeto do Firebase está selecionado no menu localizado na parte superior da página.
    3. Se a API ainda não estiver ativada, clique em Ativar.
    Se você quiser usar apenas o modelo no dispositivo, pule esta etapa.

Agora você já pode rotular imagens usando um modelo no dispositivo ou um modelo baseado na nuvem.


Rotulagem de imagens no dispositivo

Para usar o modelo de rotulagem de imagem no dispositivo, configure e execute o rotulador de imagens conforme descrito abaixo.

1. Configurar o rotulador de imagens

Por padrão, o rotulador no dispositivo retorna apenas imagens com uma pontuação de confiança de 0,50 ou mais. Se quiser alterar essa configuração, crie um objeto VisionLabelDetectorOptions como no exemplo mostrado a seguir:

Swift

let options = VisionLabelDetectorOptions(
  confidenceThreshold: Constants.labelConfidenceThreshold
)

Objective-C

FIRVisionLabelDetectorOptions *options =
    [[FIRVisionLabelDetectorOptions alloc] initWithConfidenceThreshold:0.6f];

2. Executar o rotulador de imagens

Para reconhecer e rotular entidades em uma imagem, envie a imagem como UIImage ou CMSampleBufferRef para o método detect(in:) do VisionLabelDetector;

  1. Consiga uma instância do VisionLabelDetector:

    Swift

    lazy var vision = Vision.vision()
    let labelDetector = vision.labelDetector(options: options)
    

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionLabelDetector *labelDetector = [vision labelDetector];
    // Or, to change the default settings:
    // FIRVisionLabelDetector *labelDetector =
    //     [vision labelDetectorWithOptions:options];
    
  2. Crie um objeto VisionImage usando UIImage ou CMSampleBufferRef.

    Para usar uma UIImage, faça o seguinte:

    1. Se necessário, gire a imagem para que a propriedade imageOrientation seja definida como .up.
    2. Crie um objeto VisionImage usando a UIImage girada corretamente. Não especifique nenhum metadado de rotação. É preciso usar o valor padrão .topLeft.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    Para usar uma CMSampleBufferRef:

    1. Crie um objeto VisionImageMetadata que especifique a orientação dos dados de imagem contidos no buffer CMSampleBufferRef.

      Por exemplo, se os dados da imagem precisarem ser girados em 90 graus no sentido horário para ficarem na vertical:

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. Crie um objeto VisionImage usando o CMSampleBufferRef e os metadados de rotação:

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. Em seguida, transmita a imagem para o método detect(in:):

    Swift

    labelDetector.detect(in: visionImage) { features, error in
      guard error == nil, let features = features, !features.isEmpty else {
        // ...
        return
      }
    
      // ...
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionLabel.
    }];
    

3. Ver informações sobre os objetos rotulados

Se a rotulagem da imagem ocorrer sem erros, uma matriz de objetos VisionLabel será transmitida para o gerenciador de conclusão. Você pode receber informações sobre um recurso reconhecido na imagem em cada objeto.

Exemplo:

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityID
  let confidence = label.confidence
}

Objective-C

for (FIRVisionLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityID;
  float confidence = label.confidence;
}

Rotulagem de imagem na nuvem

Para usar o modelo de rotulagem de imagem baseado na nuvem, configure e execute o rotulador de imagens conforme descrito abaixo.

1. Configurar o rotulador de imagens

Por padrão, o detector do Cloud usa a versão estável do modelo e retorna até 10 resultados. Se você quiser alterar alguma dessas configurações, especifique-as com um objeto VisionCloudDetectorOptions conforme o modelo a seguir:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

FIRVisionCloudDetectorOptions *options =
    [[FIRVisionCloudDetectorOptions alloc] init];
options.modelType = FIRVisionCloudModelTypeLatest;
options.maxResults = 20;

Na próxima etapa, transmita o VisionCloudDetectorOptions ao criar o objeto de detecção do Cloud.

2. Executar o rotulador de imagens

Para reconhecer e rotular entidades em uma imagem, transmita a imagem como UIImage ou CMSampleBufferRef para o método detect(in:) do VisionCloudLabelDetector:

  1. Consiga uma instância do VisionCloudLabelDetector:

    Swift

    let labelDetector = vision.cloudLabelDetector()
    // Or, to change the default settings:
    // let labelDetector = Vision.vision().cloudLabelDetector(options: options)

    Objective-C

    FIRVision *vision = [FIRVision vision];
    FIRVisionCloudLabelDetector *labelDetector = [vision cloudLabelDetector];
    // Or, to change the default settings:
    // FIRVisionCloudLabelDetector *labelDetector =
    //     [vision cloudLabelDetectorWithOptions:options];
    
  2. Crie um objeto VisionImage usando UIImage ou CMSampleBufferRef.

    Para usar uma UIImage, faça o seguinte:

    1. Se necessário, gire a imagem para que a propriedade imageOrientation seja definida como .up.
    2. Crie um objeto VisionImage usando a UIImage girada corretamente. Não especifique nenhum metadado de rotação. É preciso usar o valor padrão .topLeft.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];
      

    Para usar uma CMSampleBufferRef:

    1. Crie um objeto VisionImageMetadata que especifique a orientação dos dados de imagem contidos no buffer CMSampleBufferRef.

      Por exemplo, se os dados da imagem precisarem ser girados em 90 graus no sentido horário para ficarem na vertical:

      Swift

      let metadata = VisionImageMetadata()
      metadata.orientation = .rightTop  // Row 0 is on the right and column 0 is on the top
      

      Objective-C

      // Row 0 is on the right and column 0 is on the top
      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
      metadata.orientation = FIRVisionDetectorImageOrientationRightTop;
      
    2. Crie um objeto VisionImage usando o CMSampleBufferRef e os metadados de rotação:

      Swift

      let image = VisionImage(buffer: bufferRef)
      image.metadata = metadata
      

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:buffer];
      image.metadata = metadata;
      
  3. Em seguida, transmita a imagem para o método detect(in:):

    Swift

      labelDetector.detect(in: visionImage) { labels, error in
        guard error == nil, let labels = labels, !labels.isEmpty else {
          // ...
          return
        }
    
        // Labeled image
        // START_EXCLUDE
        self.resultsText = labels.map { label -> String in
          "Label: \(String(describing: label.label ?? "")), " +
            "Confidence: \(label.confidence ?? 0), " +
          "EntityID: \(label.entityId ?? "")"
          }.joined(separator: "\n")
        self.showResults()
      }
    }

    Objective-C

    [labelDetector detectInImage:image
                      completion:^(NSArray<FIRVisionCloudLabel *> *labels,
                                   NSError *error) {
      if (error != nil || labels.count == 0) {
        return;
      }
      // Got labels. Access label info via FIRVisionCloudLabel.
    }];
    

3. Ver informações sobre os objetos rotulados

Se a rotulagem da imagem ocorrer sem erros, uma matriz de objetos VisionCloudLabel será transmitida para o gerenciador de conclusão. Você pode receber informações sobre uma entidade reconhecida na imagem em cada objeto.

Por exemplo:

Swift

for label in labels {
  let labelText = label.label
  let entityId = label.entityId
  let confidence = label.confidence
}

Objective-C

for (FIRVisionCloudLabel *label in labels) {
  NSString *labelText = label.label;
  NSString *entityId = label.entityId;
  float confidence = [label.confidence floatValue];
}

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.