Présentation de la retouche d'images avec Imagen


Disponible uniquement lorsque vous utilisez Vertex AI Gemini API comme fournisseur d'API.


Les Firebase AI Logic SDK vous donnent accès aux Imagen modèles (via l' Imagen API) afin que vous puissiez modifier des images à l'aide de l'une des méthodes suivantes :

  • Modification basée sur un masque : insertion et suppression d' objets, extension du contenu d'une image au-delà de ses bordures d'origine et remplacement de l' arrière-plan

  • Options de **personnalisation** basées sur le **style** (motif, texture ou style d'artiste, par exemple), le **sujet** (produit, personne ou animal, par exemple) ou le **contrôle** (croquis dessiné à la main, par exemple)

Cette page décrit chaque option de modification dans les grandes lignes. Chaque option possède sa propre page contenant plus de détails et des exemples de code.

Modèles compatibles avec cette fonctionnalité

Imagen propose la modification d'images via son modèle capability :

  • imagen-3.0-capability-001

Notez que pour les modèles Imagen, l'emplacement global n'est pas compatible.

Modification basée sur un masque

La modification basée sur un masque vous permet d'apporter des modifications précises et localisées à une image. Le modèle n'apporte des modifications que dans une zone masquée définie de l'image. Un masque est une superposition numérique qui définit la zone spécifique que vous souhaitez modifier. La zone masquée peut être détectée et créée automatiquement par le modèle, ou être définie dans une image masquée que vous fournissez. Selon le cas d'utilisation, le modèle peut nécessiter un prompt textuel pour savoir quelles modifications apporter.

Voici les cas d'utilisation courants de la modification basée sur un masque :

Insérer des objets (inpainting)

Vous pouvez utiliser l'inpainting pour insérer des objets dans une image.

Fonctionnement : vous fournissez une image d’origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque sur une zone dans laquelle vous souhaitez ajouter du contenu. Vous fournissez également un prompt textuel décrivant ce que vous souhaitez ajouter. Le modèle génère et ajoute ensuite du contenu dans la zone masquée.

Par exemple, vous pouvez masquer une table et demander au modèle d'ajouter un vase de fleurs.

Supprimer des objets (inpainting)

Vous pouvez utiliser l'inpainting pour supprimer des objets d'une image.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque sur l'objet ou le sujet que vous souhaitez supprimer. Vous pouvez également fournir un prompt textuel décrivant ce que vous souhaitez supprimer, ou le modèle peut détecter intelligemment l'objet à supprimer. Le modèle supprime ensuite l'objet et remplit la zone avec un nouveau contenu adapté au contexte.

Par exemple, vous pouvez masquer une balle et la remplacer par un mur blanc ou un champ herbeux.

Étendre une image au-delà de ses bordures d'origine (outpainting)

Vous pouvez utiliser l'outpainting pour étendre une image au-delà de ses bordures d'origine.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque de la nouvelle zone étendue. Vous pouvez également fournir un prompt textuel décrivant ce que vous souhaitez dans la zone étendue, ou le modèle peut décider intelligemment de ce qui continuera logiquement la scène existante. Le modèle génère le nouveau contenu et remplit la zone masquée.

Par exemple, vous pouvez modifier le format d'une image ou ajouter plus de contexte d'arrière-plan.

Remplacer l'arrière-plan

Vous pouvez remplacer l'arrière-plan d'une image.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante qui définit un masque sur l'arrière-plan, soit à l'aide de la détection automatique de l'arrière-plan, soit en fournissant vous-même le masque de l'arrière-plan. Vous fournissez également un prompt textuel décrivant ce que vous souhaitez modifier. Le modèle génère et applique ensuite un nouvel arrière-plan.

Par exemple, vous pouvez modifier le décor autour d'un sujet ou d'un objet sans affecter le premier plan (dans une image de produit, par exemple).

Personnalisation

La personnalisation vous permet de modifier ou de générer des images à l'aide de prompts textuels et d' images de référence qui guident le modèle pour générer une nouvelle image basée sur un style, un sujet (produit, personne ou animal, par exemple) ou un contrôle spécifié.

Personnaliser en fonction d'un style

Vous pouvez modifier ou générer des images en fonction d'un style.

Fonctionnement : vous fournissez un prompt textuel et au moins une image de référence qui présente un style spécifique (motif, texture ou style de conception, par exemple). Le modèle utilise ces entrées pour générer une nouvelle image basée sur le style spécifié dans les images de référence.

Par exemple, vous pouvez générer une nouvelle image d'une cuisine à partir d'une image d'un catalogue de vente au détail populaire que vous fournissez.

Personnaliser en fonction d'un sujet

Vous pouvez modifier ou générer des images en fonction d'un sujet spécifié.

Fonctionnement : vous fournissez un prompt textuel et au moins une image de référence qui présente un sujet spécifique (produit, personne ou animal de compagnie, par exemple). Le modèle utilise ces entrées pour générer une nouvelle image basée sur le sujet spécifié dans les images de référence.

Par exemple, vous pouvez demander au modèle d'appliquer un style de dessin animé à une photo d'enfant ou de modifier la couleur d'un vélo sur une image.

Personnaliser en fonction d'un contrôle

Vous pouvez modifier ou générer des images en fonction d'un contrôle spécifié.

Fonctionnement : vous fournissez un prompt textuel et au moins une image de référence de contrôle (dessin ou image de contours Canny, par exemple). Le modèle utilise ces entrées pour générer une nouvelle image basée sur les images de contrôle.

Par exemple, vous pouvez fournir au modèle un dessin d'une fusée et de la lune, ainsi qu'un prompt textuel pour créer une aquarelle basée sur le dessin.


Envoyer des commentaires sur votre expérience avec Firebase AI Logic