Распознавайте ориентиры с помощью Firebase ML на iOS

Вы можете использовать Firebase ML для распознавания известных ориентиров на изображении.

Прежде чем вы начнете

Если вы еще не добавили Firebase в свое приложение, сделайте это, выполнив действия, описанные в руководстве по началу работы .

Используйте Swift Package Manager для установки зависимостей Firebase и управления ими.

1. В Xcode, открыв проект приложения, выберите «Файл» > «Добавить пакеты» .
2. При появлении запроса добавьте репозиторий Firebase SDK для платформ Apple:

  https://github.com/firebase/firebase-ios-sdk.git

3. Выберите библиотеку Firebase ML.
4. Добавьте флаг -ObjC в раздел «Другие флаги компоновщика» настроек сборки вашей цели.
5. По завершении Xcode автоматически начнет разрешать и загружать ваши зависимости в фоновом режиме.

Затем выполните некоторые настройки в приложении:

1. Импортируйте Firebase в свое приложение:

   Быстрый

   import FirebaseMLModelDownloader

   Цель-C

   @import FirebaseMLModelDownloader;

1. Если вы еще не включили облачные API для своего проекта, сделайте это сейчас:

   1. Откройте страницу API Firebase ML в консоли Firebase.

   2. Если вы еще не обновили свой проект до тарифного плана Blaze, нажмите «Обновить» , чтобы сделать это. (Вам будет предложено выполнить обновление, только если ваш проект не входит в план Blaze.)

      Только проекты уровня Blaze могут использовать облачные API.

   3. Если облачные API еще не включены, нажмите «Включить облачные API» .

Настройка детектора ориентиров

По умолчанию детектор облаков использует стабильную версию модели и возвращает до 10 результатов. Если вы хотите изменить любой из этих параметров, укажите их с помощью объекта VisionCloudDetectorOptions , как показано в следующем примере:

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
ViewController.swift

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;
  

На следующем шаге передайте объект VisionCloudDetectorOptions при создании объекта детектора облаков.

Запустите детектор ориентиров

1. Получите экземпляр VisionCloudLandmarkDetector :

   Быстрый

   lazy var vision = Vision.vision()
   
   let cloudDetector = vision.cloudLandmarkDetector(options: options)
   // Or, to use the default settings:
   // let cloudDetector = vision.cloudLandmarkDetector()
   ViewController.swift
   

   Цель-C

   FIRVision *vision = [FIRVision vision];
   FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
   // Or, to change the default settings:
   // FIRVisionCloudLandmarkDetector *landmarkDetector =
   //     [vision cloudLandmarkDetectorWithOptions:options];
   

2. Чтобы вызвать Cloud Vision, изображение должно быть отформатировано как строка в кодировке Base64. Чтобы обработать UIImage :

   Быстрый

   guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
   let base64encodedImage = imageData.base64EncodedString()

   Цель-C

   NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
   NSString *base64encodedImage =
     [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

3. Затем передайте изображение методу detect(in:) :

   Быстрый

   cloudDetector.detect(in: visionImage) { landmarks, error in
     guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
       // ...
       return
     }
   
     // Recognized landmarks
     // ...
   }
   ViewController.swift
   

   Цель-C

   [landmarkDetector detectInImage:image
                        completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                     NSError *error) {
     if (error != nil) {
       return;
     } else if (landmarks != nil) {
       // Got landmarks
     }
   }];
   

Получите информацию об признанных достопримечательностях

Например:

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Следующие шаги

• Прежде чем развернуть в рабочей среде приложение, использующее Cloud API, вам следует предпринять некоторые дополнительные действия, чтобы предотвратить и смягчить последствия несанкционированного доступа к API .