| Solo está disponible cuando se usa Vertex AI Gemini API como proveedor de API. |
Los SDK de Firebase AI Logic te dan acceso a los Imagen modelos (a través de la Imagen API) para que puedas editar imágenes con cualquiera de las siguientes opciones:
Edición basada en máscaras , como insertar y quitar objetos, expandir el contenido de la imagen más allá de los bordes originales y reemplazar fondos
Opciones de personalización basadas en estilo (como patrón, textura o estilo de artista), tema (como producto, persona o animal) o control (como un boceto dibujado a mano).
En esta página, se describe cada opción de edición en términos generales. Cada opción tiene su propia página separada con más detalles y ejemplos de código.
Modelos que admiten esta capacidad
Imagen ofrece edición de imágenes a través de su capability
modelo:
imagen-3.0-capability-001
Ten en cuenta que, para los modelos Imagen, la ubicación global
no es compatible.
Edición basada en máscaras
La edición basada en máscaras te permite realizar cambios precisos y localizados en una imagen. El modelo realiza cambios exclusivamente dentro de un área enmascarada definida de la imagen. Una máscara es una superposición digital que define el área específica que quieres editar. El modelo puede detectar y crear automáticamente el área enmascarada, o bien se puede definir en una imagen enmascarada que proporciones. Según el caso de uso, es posible que el modelo requiera una instrucción de texto para saber qué cambios realizar.
Estos son los casos de uso comunes para la edición basada en máscaras:
- Insertar objetos nuevos en una imagen
- Quitar objetos no deseados de una imagen
- Expandir el contenido de una imagen más allá de sus bordes originales
- Reemplazar el fondo de una imagen
Insertar objetos (retoque)
Puedes usar el retoque para insertar objetos en una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente, ya sea generada automáticamente o proporcionada por ti, que define una máscara sobre un área en la que quieres agregar contenido nuevo. También proporcionas una instrucción de texto que describe lo que quieres agregar. Luego, el modelo genera y agrega contenido nuevo dentro del área enmascarada.
Por ejemplo, puedes enmascarar una mesa y pedirle al modelo que agregue un jarrón de flores.
Quitar objetos (retoque)
Puedes usar el retoque para quitar objetos de una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente, ya sea generada automáticamente o proporcionada por ti, que define una máscara sobre el objeto o el tema que quieres quitar. También puedes proporcionar, de manera opcional, una instrucción de texto que describa lo que quieres quitar, o bien el modelo puede detectar de forma inteligente qué objeto quitar. Luego, el modelo quita el objeto y rellena el área con contenido nuevo y apropiado para el contexto.
Por ejemplo, puedes enmascarar una pelota y reemplazarla por una pared en blanco o un campo cubierto de hierba.
Expandir una imagen más allá de sus bordes originales (extensión de imagen)
Puedes usar la extensión de imagen para expandir una imagen más allá de sus bordes originales.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente, ya sea generada automáticamente o proporcionada por ti, que define una máscara del área nueva y expandida. También puedes proporcionar, de manera opcional, una instrucción de texto que describa lo que quieres en el área expandida, o bien el modelo puede decidir de forma inteligente qué continuará lógicamente la escena existente. El modelo genera el contenido nuevo y rellena el área enmascarada.
Por ejemplo, puedes cambiar la relación de aspecto de una imagen o agregar más contexto de fondo.
Reemplazar el fondo
Puedes reemplazar el fondo de una imagen.
Cómo funciona: Proporcionas una imagen original y una imagen enmascarada correspondiente que define una máscara sobre el fondo, ya sea mediante la detección automática del fondo o proporcionando tú mismo la máscara del fondo. También proporcionas una instrucción de texto que describe lo que quieres cambiar. Luego, el modelo genera y aplica un fondo nuevo.
Por ejemplo, puedes cambiar la configuración alrededor de un tema u objeto sin afectar el primer plano (por ejemplo, en una imagen de producto).
Personalización
La personalización te permite editar o generar imágenes con instrucciones de texto y imágenes de referencia que guían al modelo para generar una imagen nueva basada en un estilo, tema (como un producto, una persona o un animal) o un control especificados.
Personalizar según un estilo
Puedes editar o generar imágenes según un estilo.
Cómo funciona: Proporcionas una instrucción de texto y al menos una imagen de referencia que muestre un estilo específico (como un patrón, una textura o un estilo de diseño). El modelo usa estas entradas para generar una imagen nueva basada en el estilo especificado en las imágenes de referencia.
Por ejemplo, puedes generar una imagen nueva de una cocina basada en una imagen de un catálogo popular de venta minorista que proporciones.
Personalizar según un tema
Puedes editar o generar imágenes según un tema especificado.
Cómo funciona: Proporcionas una instrucción de texto y al menos una imagen de referencia que muestre un tema específico (como un producto, una persona o un animal de compañía). El modelo usa estas entradas para generar una imagen nueva basada en el tema especificado en las imágenes de referencia.
Por ejemplo, puedes pedirle al modelo que aplique un estilo de dibujos animados a una foto de un niño o que cambie el color de una bicicleta en una imagen.
Personalizar según un control
Puedes editar o generar imágenes según un control especificado.
Cómo funciona: Proporcionas una instrucción de texto y al menos una imagen de referencia de control (como un dibujo o una imagen de borde nítido). El modelo usa estas entradas para generar una imagen nueva basada en las imágenes de control.
Por ejemplo, puedes proporcionarle al modelo un dibujo de un cohete y la luna junto con una instrucción de texto para crear una pintura de acuarela basada en el dibujo.
Enviar comentarios sobre tu experiencia con Firebase AI Logic