Você pode usar o Firebase ML para reconhecer pontos de referência conhecidos em uma imagem.
Antes de você começar
- Se você ainda não adicionou o Firebase ao seu aplicativo, faça isso seguindo as etapas do guia de primeiros passos .
- No Xcode, com o projeto do seu aplicativo aberto, navegue até File > Add Packages .
- Quando solicitado, adicione o repositório SDK das plataformas Apple do Firebase:
- Escolha a biblioteca Firebase ML.
- Adicione o sinalizador
-ObjC
à seção Outros sinalizadores de vinculador das configurações de compilação do seu destino. - Quando terminar, o Xcode começará automaticamente a resolver e baixar suas dependências em segundo plano.
- No seu aplicativo, importe o Firebase:
import FirebaseMLModelDownloader
@import FirebaseMLModelDownloader;
Se você ainda não habilitou APIs baseadas em nuvem para seu projeto, faça-o agora:
- Abra a página APIs do Firebase ML do console do Firebase.
Se você ainda não atualizou seu projeto para o plano de preços Blaze, clique em Atualizar para fazer isso. (Você será solicitado a atualizar somente se o seu projeto não estiver no plano Blaze.)
Somente projetos no nível Blaze podem usar APIs baseadas em nuvem.
- Se as APIs baseadas em nuvem ainda não estiverem habilitadas, clique em Habilitar APIs baseadas em nuvem .
Use o Swift Package Manager para instalar e gerenciar dependências do Firebase.
https://github.com/firebase/firebase-ios-sdk.git
Em seguida, execute algumas configurações no aplicativo:
Configurar o detector de pontos de referência
Por padrão, o detector de nuvem usa a versão estável do modelo e retorna até 10 resultados. Se desejar alterar qualquer uma dessas configurações, especifique-as com um objeto VisionCloudDetectorOptions
como no exemplo a seguir:
let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
FIRVisionCloudDetectorOptions *options =
[[FIRVisionCloudDetectorOptions alloc] init];
options.modelType = FIRVisionCloudModelTypeLatest;
options.maxResults = 20;
Na próxima etapa, passe o objeto VisionCloudDetectorOptions
ao criar o objeto Detector de nuvem.
Execute o detector de pontos de referência
Para reconhecer pontos de referência em uma imagem, passe a imagem comoUIImage
ou CMSampleBufferRef
para o método detect(in:)
do VisionCloudLandmarkDetector
:- Obtenha uma instância do
VisionCloudLandmarkDetector
:lazy var vision = Vision.vision()
let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
// [vision cloudLandmarkDetectorWithOptions:options]; - Para chamar o Cloud Vision, a imagem deve ser formatada como uma string codificada em base64. Para processar um
UIImage
:guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
[imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength]; - Em seguida, passe a imagem para o método
detect(in:)
:cloudDetector.detect(in: visionImage) { landmarks, error in
guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
// ...
return
}
// Recognized landmarks
// ...
}[landmarkDetector detectInImage:image
completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
NSError *error) {
if (error != nil) {
return;
} else if (landmarks != nil) {
// Got landmarks
}
}];
Obtenha informações sobre os pontos de referência reconhecidos
Se o reconhecimento de pontos de referência for bem-sucedido, uma matriz de objetosVisionCloudLandmark
será passada para o manipulador de conclusão. De cada objeto você pode obter informações sobre um ponto de referência reconhecido na imagem.Por exemplo:
for landmark in landmarks {
let landmarkDesc = landmark.landmark
let boundingPoly = landmark.frame
let entityId = landmark.entityId
// A landmark can have multiple locations: for example, the location the image
// was taken, and the location of the landmark depicted.
for location in landmark.locations {
let latitude = location.latitude
let longitude = location.longitude
}
let confidence = landmark.confidence
}
for (FIRVisionCloudLandmark *landmark in landmarks) {
NSString *landmarkDesc = landmark.landmark;
CGRect frame = landmark.frame;
NSString *entityId = landmark.entityId;
// A landmark can have multiple locations: for example, the location the image
// was taken, and the location of the landmark depicted.
for (FIRVisionLatitudeLongitude *location in landmark.locations) {
double latitude = [location.latitude doubleValue];
double longitude = [location.longitude doubleValue];
}
float confidence = [landmark.confidence floatValue];
}
Próximos passos
- Antes de implantar em produção um aplicativo que usa uma API do Cloud, você deve seguir algumas etapas adicionais para evitar e mitigar o efeito do acesso não autorizado à API .