Catch up on everthing we announced at this year's Firebase Summit. Learn more

Надежно маркируйте изображения с помощью Cloud Vision, используя Firebase Auth и функции на платформах Apple

Чтобы вызвать Google Cloud API из вашего приложения, вам необходимо создать промежуточный REST API, который обрабатывает авторизацию и защищает секретные значения, такие как ключи API. Затем вам нужно написать код в своем мобильном приложении для аутентификации и связи с этой промежуточной службой.

Один из способов создания этого REST API - использовать Firebase Authentication and Functions, что дает вам управляемый бессерверный шлюз к Google Cloud API, который обрабатывает аутентификацию и может быть вызван из вашего мобильного приложения с предварительно созданными SDK.

В этом руководстве показано, как использовать этот метод для вызова API Cloud Vision из вашего приложения. Этот метод позволит всем аутентифицированным пользователям получать доступ к платным сервисам Cloud Vision через ваш облачный проект, поэтому прежде чем продолжить, подумайте, достаточно ли этого механизма аутентификации для вашего варианта использования.

Прежде чем вы начнете

Сконфигурируйте свой проект

Если вы еще не добавили Firebase в ваше приложение, сделать это, следуя инструкциям , приведенным в руководстве Приступая к работе .

Используйте Swift Package Manager для установки и управления зависимостями Firebase.

  1. В Xcode, с приложением проекта открыто, перейдите в меню Файл> Swift пакеты> Добавить пакет Завис.
  2. При появлении запроса добавьте репозиторий Firebase Apple Platform SDK:
  3.   https://github.com/firebase/firebase-ios-sdk
      
  4. Выберите библиотеку Firebase ML.
  5. По завершении Xcode автоматически начнет разрешение и загрузку ваших зависимостей в фоновом режиме.

Затем выполните некоторую настройку в приложении:

  1. В своем приложении импортируйте Firebase:

    Быстрый

    import Firebase

    Цель-C

    @import Firebase;

Еще несколько шагов по настройке, и мы готовы к работе:

  1. Если вы еще не включили облачные API для своего проекта, сделайте это сейчас:

    1. Откройте страницу Firebase ML APIs консоли Firebase.
    2. Если вы еще не модернизировал свой проект в плане ценовой Blaze, нажмите кнопку Обновить , чтобы сделать это. (Вам будет предложено выполнить обновление, только если ваш проект не входит в план Blaze.)

      Только проекты уровня Blaze могут использовать облачные API.

    3. Если API - интерфейсы на основе облака еще не включен, нажмите Включить API для облачных вычислений.
  2. Настройте существующие ключи Firebase API, чтобы запретить доступ к Cloud Vision API:
    1. Откройте Credentials страницу консоли Cloud.
    2. Для каждого ключа API в списке, откройте редактирование вид, и в разделе Основные Ограничения, добавить все доступные API , кроме Cloud API Видения к списку.

Разверните вызываемую функцию

Затем разверните облачную функцию, которую вы будете использовать для соединения вашего приложения и Cloud Vision API. functions-samples хранилище содержит пример , который вы можете использовать.

По умолчанию доступ к Cloud Vision API через эту функцию разрешает только аутентифицированным пользователям вашего приложения доступ к Cloud Vision API. Вы можете изменить функцию для различных требований.

Чтобы развернуть функцию:

  1. Клон или загрузить функции-образцы репо и изменения в vision-annotate-image каталога:
    git clone https://github.com/firebase/functions-samples
    cd vision-annotate-image
    
  2. Установка зависимостей:
    cd functions
    npm install
    cd ..
    
  3. Если вы не имеете Firebase CLI, установите его .
  4. Инициализировать проект Firebase в vision-annotate-image каталога. При появлении запроса выберите свой проект в списке.
    firebase init
  5. Развертывание функции:
    firebase deploy --only functions:annotateImage

Добавьте Firebase Auth в свое приложение

Вызываемая функция, развернутая выше, отклонит любой запрос от неаутентифицированных пользователей вашего приложения. Если вы еще не сделали этого, вам нужно будет добавить Firebase Auth к вашему приложению.

Добавьте необходимые зависимости в ваше приложение

Используйте Swift Package Manager, чтобы установить библиотеку Cloud Functions for Firebase.

Теперь вы готовы маркировать изображения.

1. Подготовьте входное изображение.

Чтобы вызвать Cloud Vision, изображение должно быть отформатировано как строка в кодировке base64. Для обработки UIImage :

Быстрый

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

Цель-C

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Вызвать вызываемую функцию, чтобы пометить изображение.

Для обозначения объектов на изображении, вызовите вызываемую функцию прохождения запроса JSON Cloud видения .

  1. Сначала инициализируйте экземпляр облачных функций:

    Быстрый

    lazy var functions = Functions.functions()
    

    Цель-C

    @property(strong, nonatomic) FIRFunctions *functions;
    
  2. Создать запрос с Тип набора в LABEL_DETECTION :

    Быстрый

    let requestData = [
      "image": ["content": base64encodedImage],
      "features": ["maxResults": 5, "type": "LABEL_DETECTION"]
    ]
    

    Цель-C

    NSDictionary *requestData = @{
      @"image": @{@"content": base64encodedImage},
      @"features": @{@"maxResults": @5, @"type": @"LABEL_DETECTION"}
    };
    
  3. Наконец, вызовите функцию:

    Быстрый

    functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
      if let error = error as NSError? {
        if error.domain == FunctionsErrorDomain {
          let code = FunctionsErrorCode(rawValue: error.code)
          let message = error.localizedDescription
          let details = error.userInfo[FunctionsErrorDetailsKey]
        }
        // ...
      }
      // Function completed succesfully
    }
    

    Цель-C

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                              callWithObject:requestData
                                  completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
            if (error) {
              if (error.domain == FIRFunctionsErrorDomain) {
                FIRFunctionsErrorCode code = error.code;
                NSString *message = error.localizedDescription;
                NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
              }
              // ...
            }
            // Function completed succesfully
            // Get information about labeled objects
    
          }];
    

3. Получите информацию о помеченных объектах.

Если операция маркировки изображения успешно, ответ JSON из BatchAnnotateImagesResponse будет возвращен в результате этой задачи. Каждый объект в labelAnnotations массив представляет собой нечто , что метили в изображении. Для каждой метки, вы можете получить описание лейбла текст, его идентификатор объекта Graph знаний (если таковые имеются), и доверительный счет матча. Например:

Быстрый

if let labelArray = (result?.data as? [String: Any])?["labelAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let text = labelObj["description"]
    let entityId = labelObj["mid"]
    let confidence = labelObj["score"]
  }
}

Цель-C

NSArray *labelArray = result.data[@"labelAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *text = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *confidence = labelObj[@"score"];
}