Entrena un modelo de etiquetado de imágenes con AutoML Vision Edge

Para entrenar un modelo de etiquetado de imágenes, debes proporcionarle a AutoML Vision Edge un conjunto de imágenes y las etiquetas correspondientes. AutoML Vision Edge usa este conjunto de datos para entrenar un modelo nuevo en la nube, que puedes utilizar si quieres etiquetar con tu app imágenes que se encuentran en el dispositivo. Consulta Descripción general para obtener información básica sobre esta función.

AutoML Vision Edge es un servicio de Google Cloud. Su uso está sujeto al Contrato de Licencia de Google Cloud Platform y a las Condiciones Específicas del Servicio, y se factura de conformidad con esas disposiciones. Si quieres saber más sobre la facturación, consulta la página Precios de AutoML.

Antes de comenzar

Si aún no tienes un proyecto de Firebase o Google Cloud, crea uno en Firebase console.
Familiarízate con los lineamientos presentados en la Guía para el AA inclusivo: AutoML.
Si solo quieres probar AutoML Vision Edge y no tienes datos de entrenamiento propios, descarga un conjunto de datos de muestra, como uno de los que se indica a continuación:
- Conjunto de datos ejemplo de imagen de flor oficial de TensorFlow
- Este conjunto de datos del alfabeto de la lengua de señas estadounidense (ASL)
Puedes encontrar más conjuntos de datos alojados en Kaggle.

1. Reúne tus datos de entrenamiento

Primero, debes reunir un conjunto de datos de entrenamiento compuesto de imágenes etiquetadas. Ten en cuenta los siguientes lineamientos:

Las imágenes deben estar en uno de los siguientes formatos: JPEG, PNG, GIF, BMP, ICO.
Cada imagen debe tener 30 MB o menos. Ten en cuenta que AutoML Vision Edge reduce la escala de la mayoría de las imágenes durante el preprocesamiento, por lo que, generalmente, no habrá ningún beneficio de precisión si proporcionas imágenes de muy alta resolución.
Incluye al menos 10 (y preferiblemente 100 o más) ejemplos de cada etiqueta.
Incluye varios ángulos, resoluciones y fondos para cada etiqueta.
Los datos de entrenamiento deben ser lo más parecidos posible a los datos sobre los que se harán las predicciones. Por ejemplo, si tu caso de uso incluye imágenes borrosas y de baja resolución (como las de una cámara de seguridad), tus datos de entrenamiento deben estar compuestos por imágenes borrosas de baja resolución.
Los modelos generados por AutoML Vision Edge se optimizan para fotografías de objetos en el mundo real. Es posible que no funcionen bien para radiografías, dibujos a mano, documentos escaneados, recibos, etcétera.

Además, por lo general, los modelos no pueden predecir etiquetas que las personas no pueden asignar. De manera que si una persona no puede asignar etiquetas con solo observar la imagen durante 1 o 2 segundos, probablemente el modelo tampoco pueda entrenarse para hacerlo.

Cuando tengas listas las imágenes de entrenamiento, prepáralas para importarlas a Firebase. Tienes tres opciones:

Opción 1: archivo zip estructurado

Organiza tus imágenes de entrenamiento en directorios, cada uno con el nombre de una etiqueta y con imágenes que sean ejemplos de esa etiqueta. Luego, comprime la estructura del directorio en un archivo zip.

Los nombres de directorio en este archivo ZIP pueden tener hasta 32 caracteres ASCII y pueden contener solo caracteres alfanuméricos y el carácter de guion bajo (_).

Por ejemplo:

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

Opción 2: Cloud Storage con índice CSV

Sube tus imágenes de entrenamiento a Google Cloud Storage y prepara un archivo CSV en el que se enumeren las URLs de cada imagen y, si lo deseas, las etiquetas correctas de cada imagen. Esta opción es útil cuando se usan conjuntos de datos muy grandes.

Por ejemplo, sube tus imágenes a Cloud Storage y prepara un archivo CSV como el siguiente:

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

Las imágenes deben almacenarse en un bucket que forme parte del proyecto de Google Cloud correspondiente de tu proyecto de Firebase.

Consulta la sección Prepara tus datos de entrenamiento en la documentación de Cloud AutoML Vision para obtener más información sobre cómo preparar el archivo CSV.

Opción 3: imágenes sin etiquetar

Etiqueta tus imágenes de entrenamiento en Firebase console después de subirlas, ya sea individualmente o en un archivo ZIP no estructurado. Consulta el siguiente paso.

2. Entrena tu modelo

A continuación, entrena un modelo con tus imágenes:

Abre la página Vision Datasets en la consola de Google Cloud. Selecciona tu proyecto cuando se te solicite.
Haz clic en Nuevo conjunto de datos, proporciona un nombre para el conjunto de datos, selecciona el tipo de modelo que quieres entrenar y haz clic en Crear conjunto de datos.
En la pestaña Importar del conjunto de datos, sube un archivo ZIP con tus imágenes de entrenamiento o un archivo CSV que contenga las ubicaciones de Cloud Storage a las que las subiste. Consulta Reúne tus datos de entrenamiento.
Una vez que se complete la tarea de importación, usa la pestaña Imágenes para verificar los datos de entrenamiento y etiquetar cualquier imagen sin etiquetar.

En la pestaña Entrenar, haz clic en Comenzar entrenamiento.

Ingresa un nombre para el modelo y selecciona el tipo Edge.

Configura las siguientes opciones de entrenamiento que rigen el rendimiento del modelo generado:

Optimiza el modelo en función de lo siguiente:

La configuración del modelo que usarás. Puedes entrenar modelos más pequeños y rápidos cuando sean importantes la latencia baja o el tamaño pequeño del paquete, o modelos más lentos y grandes cuando la precisión revista mayor importancia.

Presupuesto por hora de procesamiento de nodo

El tiempo máximo que se invierte en entrenar el modelo, en horas de procesamiento. Por lo general, un tiempo de entrenamiento mayor da como resultado un modelo más preciso.

Ten en cuenta que el entrenamiento se puede finalizar en menos del tiempo especificado si el sistema determina que el modelo está optimizado y que un entrenamiento adicional no mejoraría la precisión. Solo se te facturarán las horas realmente utilizadas.

Tiempos típicos de entrenamiento
Conjuntos muy pequeños	1 hora
500 imágenes	2 horas
1,000 imágenes	3 horas
5,000 imágenes	6 horas
10,000 imágenes	7 horas
50,000 imágenes	11 horas
100,000 imágenes	13 horas
1,000,000 imágenes	18 horas

3. Evalúa tu modelo

Cuando se complete el entrenamiento, puedes hacer clic en la pestaña Evaluar para ver las métricas de rendimiento del modelo.

Un uso importante de esta página es determinar el umbral de confianza más adecuado para tu modelo. Este umbral es la confianza mínima que debe tener el modelo para asignar una etiqueta a una imagen. Si mueves el control deslizante del Límite de confianza, puedes ver cómo diferentes umbrales afectan el rendimiento del modelo. El rendimiento del modelo se mide con dos métricas: precisión y recuperación.

En el contexto de la clasificación de imágenes, la precisión es la relación entre la cantidad de imágenes que se etiquetaron correctamente y la cantidad de imágenes que etiquetó el modelo dado el umbral seleccionado. Cuando un modelo tiene alta precisión, asigna etiquetas de manera incorrecta con menos frecuencia (menos falsos positivos).

La recuperación es la relación entre la cantidad de imágenes que se etiquetaron correctamente y la cantidad de imágenes con contenido que el modelo debería haber podido etiquetar. Cuando un modelo tiene una recuperación alta, con menos frecuencia falla cuando no asigna ninguna etiqueta (menos falsos negativos).

Llevar a cabo la optimización para la precisión o la recuperación depende de tu caso de uso. Consulta la Guía para principiantes de AutoML Vision y la Guía para el AA inclusivo: AutoML a fin de obtener más información.

Cuando encuentres un umbral de confianza que genere métricas con las que te sientas cómodo, toma nota de ello, ya que lo usarás para configurar el modelo en tu app. Puedes usar esta herramienta cuando quieras para obtener un valor de umbral apropiado.

4. Publica o descarga tu modelo

Si estás satisfecho con el rendimiento del modelo y quieres usarlo en una app, tienes tres opciones, entre las que puedes elegir cualquier combinación: implementar el modelo para predicciones en línea, publicar el modelo en Firebase o descargar el modelo y empaquetarlo con tu app.

Implementa el modelo

En la pestaña Probar y usar del conjunto de datos, puedes implementar el modelo para realizar predicciones en línea, que ejecutan el modelo en la nube. Esta opción se describe en la documentación de Cloud AutoML. Los documentos de este sitio abordan las dos opciones restantes.

Publica el modelo

Si publicas el modelo en Firebase, puedes actualizarlo sin lanzar una nueva versión de la app, y puedes usar Remote Config y A/B Testing para entregar de forma dinámica diferentes modelos a distintos conjuntos de usuarios.

Si eliges proporcionar el modelo únicamente mediante el alojamiento con Firebase y no empaquetarlo con tu app, puedes reducir el tamaño de descarga inicial de la app. Sin embargo, ten en cuenta que, si el modelo no se empaqueta con la aplicación, las funcionalidades relacionadas con el modelo no estarán disponibles hasta que la app lo descargue por primera vez.

Para publicar tu modelo, puedes usar cualquiera de los dos métodos que se indican a continuación:

Descarga el modelo de TF Lite desde la página Probar y usar de tu conjunto de datos en la consola de Google Cloud y, luego, súbelo en la página Modelo personalizado de Firebase console. Por lo general, esta es la forma más fácil de publicar un solo modelo.
Publica el modelo directamente desde tu proyecto de Google Cloud en Firebase con el SDK de Admin. Puedes usar este método para publicar por lotes varios modelos o crear canalizaciones de publicación automatizada.

Para publicar el modelo con la API de Model Management del SDK de Admin, haz lo siguiente:

Instala e inicializa el SDK.

Publica el modelo.

Deberás especificar el identificador de recursos del modelo, que es una string similar a la de este ejemplo:

projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID

`PROJECT_NUMBER`	El número de proyecto del bucket de Cloud Storage que contiene el modelo. Este puede ser tu proyecto de Firebase o algún otro proyecto de Google Cloud. Puedes encontrar este valor en la página Configuración de la consola de Firebase o en el panel de la consola de Google Cloud.
`MODEL_ID`	El ID del modelo, que obtuviste de la API de Cloud para AutoML.

Python

# First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

Node.js

// First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

Descarga y empaqueta el modelo con tu app

Si empaquetas el modelo con la app, puedes asegurarte de que las funciones de AA de tu aplicación todavía estén activas cuando el modelo alojado en Firebase no esté disponible.

Si publicas el modelo y lo empaquetas con tu app, esta usará la última versión disponible.

Para descargar el modelo, haz clic en TF Lite en la página Probar y usar de tu conjunto de datos.

Próximos pasos

Ahora que publicaste o descargaste el modelo, aprende a usarlo en tus apps para iOS+ y Android.