Reconozca texto en imágenes de forma segura con Cloud Vision utilizando Firebase Auth y Functions en plataformas Apple

Para llamar a una API de Google Cloud desde su aplicación, debe crear una API REST intermedia que maneje la autorización y proteja valores secretos como las claves de API. Luego deberá escribir código en su aplicación móvil para autenticarse y comunicarse con este servicio intermedio.

Una forma de crear esta API REST es mediante el uso de funciones y autenticación de Firebase, que le brinda una puerta de enlace administrada y sin servidor a las API de Google Cloud que maneja la autenticación y se puede llamar desde su aplicación móvil con SDK prediseñados.

Esta guía muestra cómo utilizar esta técnica para llamar a la API de Cloud Vision desde su aplicación. Este método permitirá que todos los usuarios autenticados accedan a los servicios facturados de Cloud Vision a través de su proyecto de nube, así que considere si este mecanismo de autenticación es suficiente para su caso de uso antes de continuar.

Antes de que empieces

Configura tu proyecto

Si aún no has agregado Firebase a tu aplicación, hazlo siguiendo los pasos de la guía de introducción .

Utilice Swift Package Manager para instalar y administrar las dependencias de Firebase.

  1. En Xcode, con el proyecto de su aplicación abierto, navegue hasta Archivo > Agregar paquetes .
  2. Cuando se le solicite, agregue el repositorio SDK de las plataformas Firebase Apple:
    3.   https://github.com/firebase/firebase-ios-sdk.git
  3. Elija la biblioteca Firebase ML.
  4. Agregue el indicador -ObjC a la sección Otros indicadores del vinculador de la configuración de compilación de su objetivo.
  5. Cuando termine, Xcode comenzará automáticamente a resolver y descargar sus dependencias en segundo plano.

A continuación, realice algunas configuraciones en la aplicación:

  1. En tu aplicación, importa Firebase:

    Rápido

    import FirebaseMLModelDownloader

    C objetivo

    @import FirebaseMLModelDownloader;

Unos cuantos pasos de configuración más y estamos listos para comenzar:

  1. Si aún no ha habilitado las API basadas en la nube para su proyecto, hágalo ahora:

    1. Abra la página API de Firebase ML de Firebase console.

    2. Si aún no ha actualizado su proyecto al plan de precios Blaze, haga clic en Actualizar para hacerlo. (Se le pedirá que actualice solo si su proyecto no está en el plan Blaze).

      Solo los proyectos de nivel Blaze pueden utilizar API basadas en la nube.

    3. Si las API basadas en la nube aún no están habilitadas, haga clic en Habilitar API basadas en la nube .
  2. Configure sus claves API de Firebase existentes para no permitir el acceso a la API de Cloud Vision:
    1. Abra la página Credenciales de la consola de la nube.
    2. Para cada clave de API de la lista, abra la vista de edición y, en la sección Restricciones de clave, agregue a la lista todas las API disponibles, excepto la API de Cloud Vision.

Implementar la función invocable

A continuación, implemente la función de nube que utilizará para unir su aplicación y la API de Cloud Vision. El repositorio functions-samples contiene un ejemplo que puede utilizar.

De forma predeterminada, acceder a la API de Cloud Vision a través de esta función permitirá que solo los usuarios autenticados de su aplicación accedan a la API de Cloud Vision. Puede modificar la función para diferentes requisitos.

Para implementar la función:

  1. Clona o descarga el repositorio de muestras de funciones y cambia al directorio Node-1st-gen/vision-annotate-image :
    git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
  2. Instalar dependencias:
    cd functions
npm install
cd ..
  3. Si no tienes Firebase CLI, instálalo .
  4. Inicialice un proyecto de Firebase en el directorio vision-annotate-image . Cuando se le solicite, seleccione su proyecto en la lista. 
    firebase init
  5. Implementar la función: 
    firebase deploy --only functions:annotateImage

Agrega Firebase Auth a tu aplicación

La función invocable implementada anteriormente rechazará cualquier solicitud de usuarios no autenticados de su aplicación. Si aún no lo ha hecho, deberá agregar Firebase Auth a su aplicación.

Agregue las dependencias necesarias a su aplicación

Utilice Swift Package Manager para instalar la biblioteca Cloud Functions para Firebase.

Ahora estás listo para comenzar a reconocer texto en imágenes.

1. Prepare la imagen de entrada

Para llamar a Cloud Vision, la imagen debe tener el formato de una cadena codificada en base64. Para procesar una UIImage :

Rápido

guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

C objetivo

NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];

2. Invocar la función invocable para reconocer texto.

Para reconocer puntos de referencia en una imagen, invoque la función invocable pasando una solicitud JSON Cloud Vision .

  1. Primero, inicialice una instancia de Cloud Functions:

    Rápido

    lazy var functions = Functions.functions()

    C objetivo

    @property(strong, nonatomic) FIRFunctions *functions;

  2. Cree la solicitud. La API de Cloud Vision admite dos tipos de detección de texto: TEXT_DETECTION y DOCUMENT_TEXT_DETECTION . Consulte los documentos de OCR de Cloud Vision para conocer la diferencia entre los dos casos de uso.

    Rápido

    let requestData = [
  "image": ["content": base64encodedImage],
  "features": ["type": "TEXT_DETECTION"],
  "imageContext": ["languageHints": ["en"]]
]

    C objetivo

    NSDictionary *requestData = @{
  @"image": @{@"content": base64encodedImage},
  @"features": @{@"type": @"TEXT_DETECTION"},
  @"imageContext": @{@"languageHints": @[@"en"]}
};

  3. Finalmente, invoca la función:

    Rápido

    do {
  let result = try await functions.httpsCallable("annotateImage").call(requestData)
  print(result)
} catch {
  if let error = error as NSError? {
    if error.domain == FunctionsErrorDomain {
      let code = FunctionsErrorCode(rawValue: error.code)
      let message = error.localizedDescription
      let details = error.userInfo[FunctionsErrorDetailsKey]
    }
    // ...
  }
}

    C objetivo

    [[_functions HTTPSCallableWithName:@"annotateImage"]
                          callWithObject:requestData
                              completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) {
        if (error) {
          if ([error.domain isEqualToString:@"com.firebase.functions"]) {
            FIRFunctionsErrorCode code = error.code;
            NSString *message = error.localizedDescription;
            NSObject *details = error.userInfo[@"details"];
          }
          // ...
        }
        // Function completed succesfully
        // Get information about labeled objects

      }];

3. Extraer texto de bloques de texto reconocido

Si la operación de reconocimiento de texto se realiza correctamente, se devolverá una respuesta JSON de BatchAnnotateImagesResponse en el resultado de la tarea. Las anotaciones de texto se pueden encontrar en el objeto fullTextAnnotation .

Puede obtener el texto reconocido como una cadena en el campo text . Por ejemplo:

Rápido

let annotation = result.flatMap { $0.data as? [String: Any] }
    .flatMap { $0["fullTextAnnotation"] }
    .flatMap { $0 as? [String: Any] }
guard let annotation = annotation else { return }

if let text = annotation["text"] as? String {
  print("Complete annotation: \(text)")
}

C objetivo

NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);

También puede obtener información específica de regiones de la imagen. Para cada block , paragraph , word y symbol , puede obtener el texto reconocido en la región y las coordenadas delimitadoras de la región. Por ejemplo:

Rápido

guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
  var pageText = ""
  guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
  for block in blocks {
    var blockText = ""
    guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
    for paragraph in paragraphs {
      var paragraphText = ""
      guard let words = paragraph["words"] as? [[String: Any]] else { continue }
      for word in words {
        var wordText = ""
        guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
        for symbol in symbols {
          let text = symbol["text"] as? String ?? ""
          let confidence = symbol["confidence"] as? Float ?? 0.0
          wordText += text
          print("Symbol text: \(text) (confidence: \(confidence)%n")
        }
        let confidence = word["confidence"] as? Float ?? 0.0
        print("Word text: \(wordText) (confidence: \(confidence)%n%n")
        let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
        print("Word bounding box: \(boundingBox.description)%n")
        paragraphText += wordText
      }
      print("%nParagraph: %n\(paragraphText)%n")
      let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
      print("Paragraph bounding box: \(boundingBox)%n")
      let confidence = paragraph["confidence"] as? Float ?? 0.0
      print("Paragraph Confidence: \(confidence)%n")
      blockText += paragraphText
    }
    pageText += blockText
  }
}

C objetivo

for (NSDictionary *page in annotation[@"pages"]) {
  NSMutableString *pageText = [NSMutableString new];
  for (NSDictionary *block in page[@"blocks"]) {
    NSMutableString *blockText = [NSMutableString new];
    for (NSDictionary *paragraph in block[@"paragraphs"]) {
      NSMutableString *paragraphText = [NSMutableString new];
      for (NSDictionary *word in paragraph[@"words"]) {
        NSMutableString *wordText = [NSMutableString new];
        for (NSDictionary *symbol in word[@"symbols"]) {
          NSString *text = symbol[@"text"];
          [wordText appendString:text];
          NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
        }
        NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
        NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
        [paragraphText appendString:wordText];
      }
      NSLog(@"\nParagraph: \n%@\n", paragraphText);
      NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
      NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
      [blockText appendString:paragraphText];
    }
    [pageText appendString:blockText];
  }
}