Catch up on everything announced at Firebase Summit, and learn how Firebase can help you accelerate app development and run your app with confidence. Learn More

Reconozca puntos de referencia de forma segura con Cloud Vision utilizando Firebase Auth y Functions en las plataformas de Apple

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Para llamar a una API de Google Cloud desde su aplicación, debe crear una API REST intermedia que maneje la autorización y proteja los valores secretos, como las claves de API. Luego, debe escribir un código en su aplicación móvil para autenticarse y comunicarse con este servicio intermedio.

Una forma de crear esta API REST es usar Firebase Authentication and Functions, que le brinda una puerta de enlace administrada y sin servidor a las API de Google Cloud que maneja la autenticación y se puede llamar desde su aplicación móvil con SDK prediseñados.

Esta guía demuestra cómo usar esta técnica para llamar a la API de Cloud Vision desde su aplicación. Este método permitirá que todos los usuarios autenticados accedan a los servicios facturados de Cloud Vision a través de su proyecto de Cloud, así que considere si este mecanismo de autenticación es suficiente para su caso de uso antes de continuar.

Antes de que empieces

Configura tu proyecto

Si aún no ha agregado Firebase a su aplicación, hágalo siguiendo los pasos de la guía de inicio .

Use Swift Package Manager para instalar y administrar las dependencias de Firebase.

  1. En Xcode, con su proyecto de aplicación abierto, vaya a Archivo > Agregar paquetes .
  2. Cuando se le solicite, agregue el repositorio del SDK de las plataformas Apple de Firebase:
  3.   https://github.com/firebase/firebase-ios-sdk
  4. Elija la biblioteca Firebase ML.
  5. Cuando termine, Xcode comenzará a resolver y descargar automáticamente sus dependencias en segundo plano.

A continuación, realice alguna configuración en la aplicación:

  1. En su aplicación, importe Firebase:

    Rápido

    import FirebaseMLModelDownloader

    C objetivo

    @import FirebaseMLModelDownloader;

Unos pocos pasos de configuración más, y estamos listos para comenzar:

  1. Si aún no ha habilitado las API basadas en la nube para su proyecto, hágalo ahora:

    1. Abra la página de las API de Firebase ML de la consola de Firebase.
    2. Si aún no ha actualizado su proyecto al plan de precios de Blaze, haga clic en Actualizar para hacerlo. (Se le pedirá que actualice solo si su proyecto no está en el plan Blaze).

      Solo los proyectos de nivel Blaze pueden usar API basadas en la nube.

    3. Si las API basadas en la nube aún no están habilitadas, haga clic en Habilitar API basadas en la nube .
  2. Configure sus claves de API de Firebase existentes para no permitir el acceso a la API de Cloud Vision:
    1. Abra la página Credenciales de la consola de la nube.
    2. Para cada clave de API de la lista, abra la vista de edición y, en la sección Restricciones de clave, agregue todas las API disponibles excepto la API de Cloud Vision a la lista.

Implementar la función invocable

A continuación, implemente la función de nube que usará para unir su aplicación y la API de Cloud Vision. El repositorio functions-samples contiene un ejemplo que puede usar.

De forma predeterminada, acceder a la API de Cloud Vision a través de esta función permitirá que solo los usuarios autenticados de su aplicación accedan a la API de Cloud Vision. Puede modificar la función para diferentes requisitos.

Para implementar la función:

  1. Clone o descargue el repositorio functions-samples y cambie al directorio vision-annotate-image :
    git clone https://github.com/firebase/functions-samples
    cd vision-annotate-image
    
  2. Instalar dependencias:
    cd functions
    npm install
    cd ..
    
  3. Si no tiene Firebase CLI, instálelo .
  4. Inicialice un proyecto de Firebase en el directorio vision-annotate-image . Cuando se le solicite, seleccione su proyecto en la lista.
    firebase init
  5. Implementar la función:
    firebase deploy --only functions:annotateImage

Agregue Firebase Auth a su aplicación

La función invocable implementada anteriormente rechazará cualquier solicitud de usuarios no autenticados de su aplicación. Si aún no lo ha hecho, deberá agregar Firebase Auth a su aplicación.

Agregue las dependencias necesarias a su aplicación

Use Swift Package Manager para instalar la biblioteca de Cloud Functions para Firebase.

1. Preparar la imagen de entrada

Para llamar a Cloud Vision, la imagen debe estar formateada como una cadena codificada en base64. Para procesar una UIImage :

Rápido

guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return }
let base64encodedImage = imageData.base64EncodedString()

C objetivo

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Invocar la función invocable para reconocer puntos de referencia

Para reconocer puntos de referencia en una imagen, invoque la función invocable pasando una solicitud JSON Cloud Vision .

  1. Primero, inicialice una instancia de Cloud Functions:

    Rápido

    lazy var functions = Functions.functions()
    

    C objetivo

    @property(strong, nonatomic) FIRFunctions *functions;
    
  2. Cree una solicitud con Tipo establecido en LANDMARK_DETECTION :

    Rápido

    let requestData = [
      "image": ["content": base64encodedImage],
      "features": ["maxResults": 5, "type": "LANDMARK_DETECTION"]
    ]
    

    C objetivo

    NSDictionary *requestData = @{
      @"image": @{@"content": base64encodedImage},
      @"features": @{@"maxResults": @5, @"type": @"LANDMARK_DETECTION"}
    };
    
  3. Finalmente, invoque la función:

    Rápido

    functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
      if let error = error as NSError? {
        if error.domain == FunctionsErrorDomain {
          let code = FunctionsErrorCode(rawValue: error.code)
          let message = error.localizedDescription
          let details = error.userInfo[FunctionsErrorDetailsKey]
        }
        // ...
      }
      // Function completed succesfully
    }
    

    C objetivo

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                              callWithObject:requestData
                                  completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
            if (error) {
              if (error.domain == FIRFunctionsErrorDomain) {
                FIRFunctionsErrorCode code = error.code;
                NSString *message = error.localizedDescription;
                NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey];
              }
              // ...
            }
            // Function completed succesfully
            // Get information about labeled objects
    
          }];
    

3. Obtenga información sobre los puntos de referencia reconocidos

Si la operación de reconocimiento de puntos de referencia tiene éxito, se devolverá una respuesta JSON de BatchAnnotateImagesResponse en el resultado de la tarea. Cada objeto de la matriz landmarkAnnotations representa un punto de referencia que se reconoció en la imagen. Para cada punto de referencia, puede obtener sus coordenadas de límite en la imagen de entrada, el nombre del punto de referencia, su latitud y longitud, su ID de entidad de Knowledge Graph (si está disponible) y la puntuación de confianza de la coincidencia. Por ejemplo:

Rápido

if let labelArray = (result?.data as? [String: Any])?["landmarkAnnotations"] as? [[String:Any]] {
  for labelObj in labelArray {
    let landmarkName = labelObj["description"]
    let entityId = labelObj["mid"]
    let score = labelObj["score"]
    let bounds = labelObj["boundingPoly"]
    // Multiple locations are possible, e.g., the location of the depicted
    // landmark and the location the picture was taken.
    guard let locations = labelObj["locations"] as? [[String: [String: Any]]] else { continue }
    for location in locations {
      let latitude = location["latLng"]?["latitude"]
      let longitude = location["latLng"]?["longitude"]
    }
  }
}

C objetivo

NSArray *labelArray = result.data[@"landmarkAnnotations"];
for (NSDictionary *labelObj in labelArray) {
  NSString *landmarkName = labelObj[@"description"];
  NSString *entityId = labelObj[@"mid"];
  NSNumber *score = labelObj[@"score"];
  NSArray *bounds = labelObj[@"boundingPoly"];
  // Multiple locations are possible, e.g., the location of the depicted
  // landmark and the location the picture was taken.
  NSArray *locations = labelObj[@"locations"];
  for (NSDictionary *location in locations) {
    NSNumber *latitude = location[@"latLng"][@"latitude"];
    NSNumber *longitude = location[@"latLng"][@"longitude"];
  }
}