Catch up on everthing we announced at this year's Firebase Summit. Learn more

Безопасное распознавание ориентиров с помощью Cloud Vision с использованием Firebase Auth и функций на платформах Apple

Чтобы вызвать Google Cloud API из вашего приложения, вам необходимо создать промежуточный REST API, который обрабатывает авторизацию и защищает секретные значения, такие как ключи API. Затем вам нужно написать код в своем мобильном приложении для аутентификации и связи с этой промежуточной службой.

Один из способов создания этого REST API - использовать Firebase Authentication and Functions, что дает вам управляемый бессерверный шлюз к Google Cloud API, который обрабатывает аутентификацию и может быть вызван из вашего мобильного приложения с предварительно созданными SDK.

В этом руководстве показано, как использовать этот метод для вызова API Cloud Vision из вашего приложения. Этот метод позволит всем аутентифицированным пользователям получать доступ к платным сервисам Cloud Vision через ваш облачный проект, поэтому прежде чем продолжить, подумайте, достаточно ли этого механизма аутентификации для вашего варианта использования.

Прежде чем вы начнете

Сконфигурируйте свой проект

Если вы еще не добавили Firebase в ваше приложение, сделать это, следуя инструкциям , приведенным в руководстве Приступая к работе .

Используйте Swift Package Manager для установки и управления зависимостями Firebase.

  1. В Xcode, с приложением проекта открыто, перейдите в меню Файл> Swift пакеты> Добавить пакет Завис.
  2. При появлении запроса добавьте репозиторий Firebase Apple Platform SDK:
  3.   https://github.com/firebase/firebase-ios-sdk
      
  4. Выберите библиотеку Firebase ML.
  5. По завершении Xcode автоматически начнет разрешение и загрузку ваших зависимостей в фоновом режиме.

Затем выполните некоторую настройку в приложении:

  1. В своем приложении импортируйте Firebase:

    Быстрый

    import Firebase

    Цель-C

    @import Firebase;

Еще несколько шагов по настройке, и мы готовы к работе:

  1. Если вы еще не включили облачные API для своего проекта, сделайте это сейчас:

    1. Откройте страницу Firebase ML APIs консоли Firebase.
    2. Если вы еще не модернизировал свой проект в плане ценовой Blaze, нажмите кнопку Обновить , чтобы сделать это. (Вам будет предложено выполнить обновление, только если ваш проект не входит в план Blaze.)

      Только проекты уровня Blaze могут использовать облачные API.

    3. Если API - интерфейсы на основе облака еще не включен, нажмите Включить API для облачных вычислений.
  2. Настройте существующие ключи Firebase API, чтобы запретить доступ к Cloud Vision API:
    1. Откройте Credentials страницу консоли Cloud.
    2. Для каждого ключа API в списке, откройте редактирование вид, и в разделе Основные Ограничения, добавить все доступные API , кроме Cloud API Видения к списку.

Разверните вызываемую функцию

Затем разверните облачную функцию, которую вы будете использовать для соединения вашего приложения и Cloud Vision API. functions-samples хранилище содержит пример , который вы можете использовать.

По умолчанию доступ к Cloud Vision API через эту функцию разрешает только аутентифицированным пользователям вашего приложения доступ к Cloud Vision API. Вы можете изменить функцию для различных требований.

Чтобы развернуть функцию:

  1. Клон или загрузить функции-образцы репо и изменения в vision-annotate-image каталога:
    git clone https://github.com/firebase/functions-samples
    cd vision-annotate-image
    
  2. Установка зависимостей:
    cd functions
    npm install
    cd ..
    
  3. Если вы не имеете Firebase CLI, установите его .
  4. Инициализировать проект Firebase в vision-annotate-image каталога. При появлении запроса выберите свой проект в списке.
    firebase init
  5. Развертывание функции:
    firebase deploy --only functions:annotateImage

Добавьте Firebase Auth в свое приложение

Вызываемая функция, развернутая выше, отклонит любой запрос от неаутентифицированных пользователей вашего приложения. Если вы еще не сделали этого, вам нужно будет добавить Firebase Auth к вашему приложению.

Добавьте необходимые зависимости в ваше приложение

Используйте Swift Package Manager, чтобы установить библиотеку облачных функций для Firebase.

1. Подготовьте входное изображение.

Чтобы вызвать Cloud Vision, изображение должно быть отформатировано как строка в кодировке base64. Для обработки UIImage :

Быстрый

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

Цель-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Вызов вызываемой функции для распознавания ориентиров.

Признать ориентиры в образе, вызовите вызываемую функцию , проходящую в запрос JSON Cloud видения .

  1. Сначала инициализируйте экземпляр облачных функций:

    Быстрый

    lazy var functions = Functions.functions()
    

    Цель-C

    @property(strong, nonatomic) FIRFunctions *functions;
    
  2. Создать запрос с Тип набора в LANDMARK_DETECTION :

    Быстрый

    let requestData = [
      "image": ["content": base64encodedImage],
      "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
    ]
    

    Цель-C

    NSDictionary *requestData = @{
      @"image": @{@"content": base64encodedImage},
      @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
    };
    
  3. Наконец, вызовите функцию:

    Быстрый

    functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
      if let error = error as NSError? {
        if error.domain == FunctionsErrorDomain {
          let code = FunctionsErrorCode(rawValue: error.code)
          let message = error.localizedDescription
          let details = error.userInfo[FunctionsErrorDetailsKey]
        }
        // ...
      }
      // Function completed succesfully
    }
    

    Цель-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                              callWithObject:requestData
                                  completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
            if (error) {
              if (error.domain == FIRFunctionsErrorDomain) {
                FIRFunctionsErrorCode code = error.code;
                NSString *message = error.localizedDescription;
                NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
              }
              // ...
            }
            // Function completed succesfully
            // Get information about labeled objects
    
          }];
    

3. Получите информацию о признанных достопримечательностях.

Если операция распознавания вехи успешно, ответ JSON из BatchAnnotateImagesResponse будет возвращен в результате этой задачи. Каждый объект в landmarkAnnotations массиве представляет собой ориентир , который был признан в изображении. Для каждого ориентира вы можете получить его ограничивающие координаты на входном изображении, имя ориентира, его широту и долготу, идентификатор объекта сети знаний (если доступен) и оценку достоверности совпадения. Например:

Быстрый

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

Цель-C

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}