| Solo está disponible cuando usas Vertex AI Gemini API como tu proveedor de la API. |
Los SDKs de Firebase AI Logic te brindan acceso a los modelos de Imagen (a través de la API de Imagen) para que puedas editar imágenes con cualquiera de las siguientes opciones:
Edición basada en máscaras, como insertar y quitar objetos, expandir el contenido de la imagen más allá de los bordes originales y reemplazar fondos
Opciones de personalización basadas en el estilo (como patrón, textura o estilo de artista), el tema (como producto, persona o animal) o el control (como un boceto dibujado a mano)
En esta página, se describe cada opción de edición de forma general. Cada opción tiene su propia página separada con más detalles y muestras de código.
Modelos que admiten esta capacidad
Imagen ofrece edición de imágenes a través de su modelo capability:
imagen-3.0-capability-001
Ten en cuenta que, para los modelos Imagen, no se admite la ubicación global.
Edición basada en máscaras
La edición basada en máscaras te permite realizar cambios precisos y localizados en una imagen. El modelo realiza cambios exclusivamente dentro de un área enmascarada definida de la imagen. Una máscara es una superposición digital que define el área específica que deseas editar. El modelo puede detectar y crear automáticamente el área enmascarada, o bien puedes definirla en una imagen enmascarada que proporciones. Según el caso de uso, es posible que el modelo requiera una instrucción de texto para saber qué cambios realizar.
Estos son los casos de uso comunes para la edición basada en máscaras:
- Cómo insertar objetos nuevos en una imagen
- Cómo quitar objetos no deseados de una imagen
- Expande el contenido de una imagen más allá de sus bordes originales
- Cómo reemplazar el fondo de una imagen
Cómo insertar objetos (relleno)
Puedes usar el retoque para insertar objetos en una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente (ya sea generada automáticamente o proporcionada por ti) que define una máscara sobre un área en la que deseas agregar contenido nuevo. También puedes proporcionar una instrucción de texto en la que se describa lo que quieres agregar. Luego, el modelo genera y agrega contenido nuevo dentro del área enmascarada.
Por ejemplo, puedes enmascarar una mesa y pedirle al modelo que agregue un jarrón con flores.
Quitar objetos (reparación)
Puedes usar el relleno completo para quitar objetos de una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente (ya sea generada automáticamente o proporcionada por ti) que define una máscara sobre el objeto o sujeto que deseas quitar. También puedes proporcionar, de manera opcional, una instrucción de texto que describa lo que quieres quitar, o bien el modelo puede detectar de forma inteligente qué objeto quitar. Luego, el modelo quita el objeto y rellena el área con contenido nuevo y adecuado para el contexto.
Por ejemplo, puedes enmascarar una pelota y reemplazarla por una pared en blanco o un campo de césped.
Expande una imagen más allá de sus bordes originales (expansión)
Puedes usar la extensión de imagen para expandir una imagen más allá de sus bordes originales.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente (generada automáticamente o proporcionada por ti) que define una máscara del área nueva y expandida. También puedes proporcionar, de forma opcional, una instrucción de texto que describa lo que quieres en el área expandida, o bien el modelo puede decidir de forma inteligente qué continuará lógicamente la escena existente. El modelo genera el contenido nuevo y completa el área enmascarada.
Por ejemplo, puedes cambiar la relación de aspecto de una imagen o agregar más contexto de fondo.
Reemplaza el fondo
Puedes reemplazar el fondo de una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente que define una máscara sobre el fondo, ya sea usando la detección automática de fondo o proporcionando tú mismo la máscara del fondo. También proporcionas una instrucción de texto en la que se describe lo que quieres cambiar. Luego, el modelo genera y aplica un fondo nuevo.
Por ejemplo, puedes cambiar el ajuste alrededor de un sujeto u objeto sin afectar el primer plano (por ejemplo, en una imagen de producto).
Personalización
La personalización te permite editar o generar imágenes con instrucciones de texto y referencias visuales que guían al modelo para que genere una imagen nueva basada en un estilo, un sujeto (como un producto, una persona o un animal) o un control específicos.
Personaliza el diseño según un estilo
Puedes editar o generar imágenes según un estilo específico.
Cómo funciona: Proporcionas una instrucción de texto y, al menos, una imagen de referencia que muestre un estilo específico (como un patrón, una textura o un estilo de diseño). El modelo usa estas entradas para generar una imagen nueva basada en el estilo especificado en las imágenes de referencia.
Por ejemplo, puedes generar una imagen nueva de una cocina a partir de una imagen de un catálogo minorista popular que proporciones.
Personaliza el contenido según un tema
Puedes editar o generar imágenes basadas en un sujeto específico.
Cómo funciona: Proporcionas una instrucción de texto y, al menos, una imagen de referencia que muestre un tema específico (como un producto, una persona o un animal de compañía). El modelo usa estas entradas para generar una imagen nueva basada en el tema especificado en las imágenes de referencia.
Por ejemplo, puedes pedirle al modelo que aplique un estilo de dibujos animados a una foto de un niño o niña, o que cambie el color de una bicicleta en una imagen.
Personaliza en función de un control
Puedes editar o generar imágenes en función de un control específico.
Cómo funciona: Proporcionas una instrucción de texto y, al menos, una imagen de referencia de control (como un dibujo o una imagen de borde Canny). El modelo usa estas entradas para generar una imagen nueva basada en las imágenes de control.
Por ejemplo, puedes proporcionarle al modelo un dibujo de una nave espacial y la luna junto con una instrucción de texto para crear una pintura de acuarela basada en el dibujo.
Envía comentarios sobre tu experiencia con Firebase AI Logic