Esta página se ha traducido con Cloud Translation API.

Reconozca texto en imágenes de forma segura con Cloud Vision usando Firebase Auth y Functions en Android

Para llamar a una API de Google Cloud desde su aplicación, debe crear una API REST intermedia que maneje la autorización y proteja valores secretos como las claves de API. Luego deberá escribir código en su aplicación móvil para autenticarse y comunicarse con este servicio intermedio.

Una forma de crear esta API REST es mediante el uso de funciones y autenticación de Firebase, que le brinda una puerta de enlace administrada y sin servidor a las API de Google Cloud que maneja la autenticación y se puede llamar desde su aplicación móvil con SDK prediseñados.

Esta guía demuestra cómo utilizar esta técnica para llamar a la API de Cloud Vision desde su aplicación. Este método permitirá que todos los usuarios autenticados accedan a los servicios facturados de Cloud Vision a través de su proyecto de nube, así que considere si este mecanismo de autenticación es suficiente para su caso de uso antes de continuar.

Antes de que empieces

Configura tu proyecto

Si aún no lo has hecho, agrega Firebase a tu proyecto de Android .
Si aún no ha habilitado las API basadas en la nube para su proyecto, hágalo ahora:
1. Abra la página API de Firebase ML de Firebase console.
2. Si aún no ha actualizado su proyecto al plan de precios Blaze, haga clic en Actualizar para hacerlo. (Se le pedirá que actualice solo si su proyecto no está en el plan Blaze).
  Solo los proyectos de nivel Blaze pueden utilizar API basadas en la nube.
3. Si las API basadas en la nube aún no están habilitadas, haga clic en Habilitar API basadas en la nube .
Configure sus claves API de Firebase existentes para no permitir el acceso a la API de Cloud Vision:
1. Abra la página Credenciales de la consola de la nube.
2. Para cada clave de API de la lista, abra la vista de edición y, en la sección Restricciones de clave, agregue a la lista todas las API disponibles, excepto la API de Cloud Vision.

Implementar la función invocable

A continuación, implemente la función de nube que utilizará para unir su aplicación y la API de Cloud Vision. El repositorio functions-samples contiene un ejemplo que puede utilizar.

De forma predeterminada, acceder a la API de Cloud Vision a través de esta función permitirá que solo los usuarios autenticados de su aplicación accedan a la API de Cloud Vision. Puede modificar la función para diferentes requisitos.

Para implementar la función:

Clone o descargue el repositorio de muestras de funciones y cambie al directorio Node-1st-gen/vision-annotate-image :
```
git clone https://github.com/firebase/functions-samples
cd Node-1st-gen/vision-annotate-image
```
Instalar dependencias:
```
cd functions
npm install
cd ..
```
Si no tienes Firebase CLI, instálalo .
Inicialice un proyecto de Firebase en el directorio vision-annotate-image . Cuando se le solicite, seleccione su proyecto en la lista.
```
firebase init
```

Implementar la función:

firebase deploy --only functions:annotateImage

Agrega Firebase Auth a tu aplicación

La función invocable implementada anteriormente rechazará cualquier solicitud de usuarios no autenticados de su aplicación. Si aún no lo ha hecho, deberá agregar Firebase Auth a su aplicación.

Agregue las dependencias necesarias a su aplicación

Agregue las dependencias de las bibliotecas de Cloud Functions para Firebase (cliente) y gson de Android al archivo Gradle de su módulo (nivel de aplicación) (generalmente <project>/<app-module>/build.gradle.kts o <project>/<app-module>/build.gradle ):

implementation("com.google.firebase:firebase-functions:20.4.0")
implementation("com.google.code.gson:gson:2.8.6")

Ahora estás listo para comenzar a reconocer texto en imágenes.

1. Prepare la imagen de entrada

Para llamar a Cloud Vision, la imagen debe tener el formato de una cadena codificada en base64. Para procesar una imagen desde un URI de archivo guardado:

Obtenga la imagen como un objeto Bitmap :

Kotlin+KTX

var bitmap: Bitmap = MediaStore.Images.Media.getBitmap(contentResolver, uri)

Java

Bitmap bitmap = MediaStore.Images.Media.getBitmap(getContentResolver(), uri);

Opcionalmente, reduzca la escala de la imagen para ahorrar ancho de banda. Consulte los tamaños de imagen recomendados por Cloud Vision.

Kotlin+KTX

private fun scaleBitmapDown(bitmap: Bitmap, maxDimension: Int): Bitmap {
    val originalWidth = bitmap.width
    val originalHeight = bitmap.height
    var resizedWidth = maxDimension
    var resizedHeight = maxDimension
    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension
        resizedWidth =
            (resizedHeight * originalWidth.toFloat() / originalHeight.toFloat()).toInt()
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension
        resizedHeight =
            (resizedWidth * originalHeight.toFloat() / originalWidth.toFloat()).toInt()
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension
        resizedWidth = maxDimension
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false)
}

Java

private Bitmap scaleBitmapDown(Bitmap bitmap, int maxDimension) {
    int originalWidth = bitmap.getWidth();
    int originalHeight = bitmap.getHeight();
    int resizedWidth = maxDimension;
    int resizedHeight = maxDimension;

    if (originalHeight > originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = (int) (resizedHeight * (float) originalWidth / (float) originalHeight);
    } else if (originalWidth > originalHeight) {
        resizedWidth = maxDimension;
        resizedHeight = (int) (resizedWidth * (float) originalHeight / (float) originalWidth);
    } else if (originalHeight == originalWidth) {
        resizedHeight = maxDimension;
        resizedWidth = maxDimension;
    }
    return Bitmap.createScaledBitmap(bitmap, resizedWidth, resizedHeight, false);
}

Kotlin+KTX

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640)

Java

// Scale down bitmap size
bitmap = scaleBitmapDown(bitmap, 640);

Convierta el objeto de mapa de bits en una cadena codificada en base64:

Kotlin+KTX

// Convert bitmap to base64 encoded string
val byteArrayOutputStream = ByteArrayOutputStream()
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream)
val imageBytes: ByteArray = byteArrayOutputStream.toByteArray()
val base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP)

Java

// Convert bitmap to base64 encoded string
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
bitmap.compress(Bitmap.CompressFormat.JPEG, 100, byteArrayOutputStream);
byte[] imageBytes = byteArrayOutputStream.toByteArray();
String base64encoded = Base64.encodeToString(imageBytes, Base64.NO_WRAP);

Bitmap

2. Invocar la función invocable para reconocer texto.

Para reconocer texto en una imagen, invoque la función invocable y pase una solicitud JSON Cloud Vision .

Primero, inicialice una instancia de Cloud Functions:

Kotlin+KTX

private lateinit var functions: FirebaseFunctions
// ...
functions = Firebase.functions

Java

private FirebaseFunctions mFunctions;
// ...
mFunctions = FirebaseFunctions.getInstance();

Defina un método para invocar la función:

Kotlin+KTX

private fun annotateImage(requestJson: String): Task<JsonElement> {
    return functions
        .getHttpsCallable("annotateImage")
        .call(requestJson)
        .continueWith { task ->
            // This continuation runs on either success or failure, but if the task
            // has failed then result will throw an Exception which will be
            // propagated down.
            val result = task.result?.data
            JsonParser.parseString(Gson().toJson(result))
        }
}

Java

private Task<JsonElement> annotateImage(String requestJson) {
    return mFunctions
            .getHttpsCallable("annotateImage")
            .call(requestJson)
            .continueWith(new Continuation<HttpsCallableResult, JsonElement>() {
                @Override
                public JsonElement then(@NonNull Task<HttpsCallableResult> task) {
                    // This continuation runs on either success or failure, but if the task
                    // has failed then getResult() will throw an Exception which will be
                    // propagated down.
                    return JsonParser.parseString(new Gson().toJson(task.getResult().getData()));
                }
            });
}

Cree la solicitud JSON. La API de Cloud Vision admite dos tipos de detección de texto: TEXT_DETECTION y DOCUMENT_TEXT_DETECTION . Consulte los documentos de OCR de Cloud Vision para conocer la diferencia entre los dos casos de uso.

Kotlin+KTX

// Create json request to cloud vision
val request = JsonObject()
// Add image to request
val image = JsonObject()
image.add("content", JsonPrimitive(base64encoded))
request.add("image", image)
// Add features to the request
val feature = JsonObject()
feature.add("type", JsonPrimitive("TEXT_DETECTION"))
// Alternatively, for DOCUMENT_TEXT_DETECTION:
// feature.add("type", JsonPrimitive("DOCUMENT_TEXT_DETECTION"))
val features = JsonArray()
features.add(feature)
request.add("features", features)

Java

// Create json request to cloud vision
JsonObject request = new JsonObject();
// Add image to request
JsonObject image = new JsonObject();
image.add("content", new JsonPrimitive(base64encoded));
request.add("image", image);
//Add features to the request
JsonObject feature = new JsonObject();
feature.add("type", new JsonPrimitive("TEXT_DETECTION"));
// Alternatively, for DOCUMENT_TEXT_DETECTION:
//feature.add("type", new JsonPrimitive("DOCUMENT_TEXT_DETECTION"));
JsonArray features = new JsonArray();
features.add(feature);
request.add("features", features);

Opcionalmente, proporcione sugerencias de idioma para ayudar con la detección del idioma (consulte idiomas admitidos ):

Kotlin+KTX

val imageContext = JsonObject()
val languageHints = JsonArray()
languageHints.add("en")
imageContext.add("languageHints", languageHints)
request.add("imageContext", imageContext)

Java

JsonObject imageContext = new JsonObject();
JsonArray languageHints = new JsonArray();
languageHints.add("en");
imageContext.add("languageHints", languageHints);
request.add("imageContext", imageContext);

Finalmente, invoca la función:

Kotlin+KTX

annotateImage(request.toString())
    .addOnCompleteListener { task ->
        if (!task.isSuccessful) {
            // Task failed with an exception
            // ...
        } else {
            // Task completed successfully
            // ...
        }
    }

Java

annotateImage(request.toString())
        .addOnCompleteListener(new OnCompleteListener<JsonElement>() {
            @Override
            public void onComplete(@NonNull Task<JsonElement> task) {
                if (!task.isSuccessful()) {
                    // Task failed with an exception
                    // ...
                } else {
                    // Task completed successfully
                    // ...
                }
            }
        });

3. Extraer texto de bloques de texto reconocido

Si la operación de reconocimiento de texto se realiza correctamente, se devolverá una respuesta JSON de BatchAnnotateImagesResponse en el resultado de la tarea. Las anotaciones de texto se pueden encontrar en el objeto fullTextAnnotation .

Puede obtener el texto reconocido como una cadena en el campo text . Por ejemplo:

Kotlin+KTX

val annotation = task.result!!.asJsonArray[0].asJsonObject["fullTextAnnotation"].asJsonObject
System.out.format("%nComplete annotation:")
System.out.format("%n%s", annotation["text"].asString)

Java

JsonObject annotation = task.getResult().getAsJsonArray().get(0).getAsJsonObject().get("fullTextAnnotation").getAsJsonObject();
System.out.format("%nComplete annotation:%n");
System.out.format("%s%n", annotation.get("text").getAsString());

También puede obtener información específica de regiones de la imagen. Para cada block , paragraph , word y symbol , puede obtener el texto reconocido en la región y las coordenadas delimitadoras de la región. Por ejemplo:

Kotlin+KTX

for (page in annotation["pages"].asJsonArray) {
    var pageText = ""
    for (block in page.asJsonObject["blocks"].asJsonArray) {
        var blockText = ""
        for (para in block.asJsonObject["paragraphs"].asJsonArray) {
            var paraText = ""
            for (word in para.asJsonObject["words"].asJsonArray) {
                var wordText = ""
                for (symbol in word.asJsonObject["symbols"].asJsonArray) {
                    wordText += symbol.asJsonObject["text"].asString
                    System.out.format(
                        "Symbol text: %s (confidence: %f)%n",
                        symbol.asJsonObject["text"].asString,
                        symbol.asJsonObject["confidence"].asFloat,
                    )
                }
                System.out.format(
                    "Word text: %s (confidence: %f)%n%n",
                    wordText,
                    word.asJsonObject["confidence"].asFloat,
                )
                System.out.format("Word bounding box: %s%n", word.asJsonObject["boundingBox"])
                paraText = String.format("%s%s ", paraText, wordText)
            }
            System.out.format("%nParagraph: %n%s%n", paraText)
            System.out.format("Paragraph bounding box: %s%n", para.asJsonObject["boundingBox"])
            System.out.format("Paragraph Confidence: %f%n", para.asJsonObject["confidence"].asFloat)
            blockText += paraText
        }
        pageText += blockText
    }
}

Java

for (JsonElement page : annotation.get("pages").getAsJsonArray()) {
    StringBuilder pageText = new StringBuilder();
    for (JsonElement block : page.getAsJsonObject().get("blocks").getAsJsonArray()) {
        StringBuilder blockText = new StringBuilder();
        for (JsonElement para : block.getAsJsonObject().get("paragraphs").getAsJsonArray()) {
            StringBuilder paraText = new StringBuilder();
            for (JsonElement word : para.getAsJsonObject().get("words").getAsJsonArray()) {
                StringBuilder wordText = new StringBuilder();
                for (JsonElement symbol : word.getAsJsonObject().get("symbols").getAsJsonArray()) {
                    wordText.append(symbol.getAsJsonObject().get("text").getAsString());
                    System.out.format("Symbol text: %s (confidence: %f)%n", symbol.getAsJsonObject().get("text").getAsString(), symbol.getAsJsonObject().get("confidence").getAsFloat());
                }
                System.out.format("Word text: %s (confidence: %f)%n%n", wordText.toString(), word.getAsJsonObject().get("confidence").getAsFloat());
                System.out.format("Word bounding box: %s%n", word.getAsJsonObject().get("boundingBox"));
                paraText.append(wordText.toString()).append(" ");
            }
            System.out.format("%nParagraph:%n%s%n", paraText);
            System.out.format("Paragraph bounding box: %s%n", para.getAsJsonObject().get("boundingBox"));
            System.out.format("Paragraph Confidence: %f%n", para.getAsJsonObject().get("confidence").getAsFloat());
            blockText.append(paraText);
        }
        pageText.append(blockText);
    }
}