Rozpoznawaj punkty orientacyjne za pomocą Firebase ML na iOS

Możesz użyć Firebase ML, aby rozpoznać dobrze znane punkty orientacyjne na obrazie.

Zanim zaczniesz

    Jeśli nie dodałeś jeszcze Firebase do swojej aplikacji, zrób to, wykonując czynności opisane w przewodniku wprowadzającym .

    Użyj Menedżera pakietów Swift, aby zainstalować zależności Firebase i zarządzać nimi.

    1. W Xcode, przy otwartym projekcie aplikacji, przejdź do File > Add Packages .
    2. Po wyświetleniu monitu dodaj repozytorium SDK platform Firebase Apple:
      3.   https://github.com/firebase/firebase-ios-sdk.git
    3. Wybierz bibliotekę Firebase ML.
    4. Dodaj flagę -ObjC do sekcji Inne flagi linkera w ustawieniach kompilacji celu.
    5. Po zakończeniu Xcode automatycznie rozpocznie rozwiązywanie i pobieranie zależności w tle.

    Następnie wykonaj konfigurację w aplikacji:

    1. W swojej aplikacji zaimportuj Firebase:

      Szybki

      import FirebaseMLModelDownloader

      Cel C

      @import FirebaseMLModelDownloader;

  1. Jeśli nie włączyłeś jeszcze interfejsów API opartych na chmurze w swoim projekcie, zrób to teraz:

    1. Otwórz stronę interfejsów API Firebase ML w konsoli Firebase.

    2. Jeśli nie uaktualniłeś jeszcze swojego projektu do planu cenowego Blaze, kliknij Uaktualnij , aby to zrobić. (Zostaniesz poproszony o uaktualnienie tylko wtedy, gdy Twój projekt nie jest objęty planem Blaze.)

      Tylko projekty na poziomie Blaze mogą korzystać z interfejsów API opartych na chmurze.

    3. Jeśli interfejsy API oparte na chmurze nie są jeszcze włączone, kliknij opcję Włącz interfejsy API oparte na chmurze .

Skonfiguruj detektor punktów orientacyjnych

Domyślnie Cloud Detector korzysta ze stabilnej wersji modelu i zwraca do 10 wyników. Jeśli chcesz zmienić którekolwiek z tych ustawień, określ je za pomocą obiektu VisionCloudDetectorOptions , jak w poniższym przykładzie:

Szybki

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
ViewController.swift

Cel C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;

W następnym kroku podczas tworzenia obiektu Cloud Detector przekaż obiekt VisionCloudDetectorOptions .

Uruchom wykrywacz punktów orientacyjnych

Aby rozpoznać punkty orientacyjne na obrazie, przekaż obraz jako UIImage lub CMSampleBufferRef do metody detect(in:) klasy VisionCloudLandmarkDetector :

  1. Pobierz instancję VisionCloudLandmarkDetector :

    Szybki

    lazy var vision = Vision.vision()

let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()
    ViewController.swift

    Cel C

    FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
//     [vision cloudLandmarkDetectorWithOptions:options];
  2. Aby wywołać Cloud Vision, obraz musi być sformatowany jako ciąg znaków zakodowany w standardzie Base64. Aby przetworzyć UIImage :

    Szybki

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

    Cel C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. Następnie przekaż obraz do metody detect(in:) :

    Szybki

    cloudDetector.detect(in: visionImage) { landmarks, error in
  guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
    // ...
    return
  }

  // Recognized landmarks
  // ...
}
    ViewController.swift

    Cel C

    [landmarkDetector detectInImage:image
                     completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                  NSError *error) {
  if (error != nil) {
    return;
  } else if (landmarks != nil) {
    // Got landmarks
  }
}];

Uzyskaj informacje o rozpoznanych punktach orientacyjnych

Jeśli rozpoznanie punktu orientacyjnego powiedzie się, tablica obiektów VisionCloudLandmark zostanie przekazana do procedury obsługi zakończenia. Z każdego obiektu można uzyskać informacje o punkcie orientacyjnym rozpoznanym na obrazie.

Na przykład:

Szybki

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Cel C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Następne kroki