Présentation de la retouche d'images avec Imagen


Disponible uniquement lorsque vous utilisez Vertex AI Gemini API comme fournisseur d'API.


Les SDK Firebase AI Logic vous donnent accès aux modèles Imagen (via l'API Imagen) afin que vous puissiez modifier des images à l'aide de l'une des méthodes suivantes :

  • Modification basée sur un masque, comme l'insertion et la suppression d'objets, l'extension du contenu d'une image au-delà de ses bordures d'origine et le remplacement d'arrière-plans

  • Options de personnalisation basées sur le style (motif, texture ou style d'artiste, par exemple), le sujet (produit, personne ou animal, par exemple) ou le contrôle (croquis dessiné à la main, par exemple).

Cette page décrit chaque option de modification de manière générale. Chaque option est associée à une page distincte contenant plus de détails et des exemples de code.

Modèles compatibles avec cette fonctionnalité

Imagen propose des fonctionnalités de retouche photo grâce à son modèle capability :

  • imagen-3.0-capability-001

Notez que pour les modèles Imagen, l'emplacement global n'est pas accepté.

Édition basée sur un masque

La modification basée sur des masques vous permet d'apporter des modifications précises et localisées à une image. Le modèle n'apporte des modifications qu'à l'intérieur d'une zone masquée définie de l'image. Un masque est une superposition numérique qui définit la zone spécifique que vous souhaitez modifier. La zone masquée peut être détectée et créée automatiquement par le modèle, ou définie dans une image masquée que vous fournissez. Selon le cas d'utilisation, le modèle peut nécessiter une requête textuelle pour savoir quelles modifications apporter.

Voici les cas d'utilisation courants de la retouche basée sur les masques :

Insérer des objets (inpainting)

Vous pouvez utiliser l'inpainting pour insérer des objets dans une image.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque sur une zone dans laquelle vous souhaitez ajouter du contenu. Vous pouvez également fournir une requête textuelle décrivant ce que vous souhaitez ajouter. Le modèle génère et ajoute ensuite du contenu dans la zone masquée.

Par exemple, vous pouvez masquer une table et demander au modèle d'ajouter un vase de fleurs.

Supprimer des objets (inpainting)

Vous pouvez utiliser l'inpainting pour supprimer des objets d'une image.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque sur l'objet ou le sujet que vous souhaitez supprimer. Vous pouvez également fournir une requête textuelle décrivant ce que vous souhaitez supprimer. Le modèle peut aussi détecter intelligemment l'objet à supprimer. Le modèle supprime ensuite l'objet et remplit la zone avec du contenu nouveau et adapté au contexte.

Par exemple, vous pouvez masquer un ballon et le remplacer par un mur blanc ou un terrain gazonné.

Élargir une image au-delà de ses bordures d'origine (outpainting)

Vous pouvez utiliser l'outpainting pour agrandir une image au-delà de ses bordures d'origine.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante (générée automatiquement ou fournie par vous) qui définit un masque de la nouvelle zone agrandie. Vous pouvez également fournir un prompt textuel décrivant ce que vous souhaitez dans la zone agrandie, ou le modèle peut décider de manière intelligente de ce qui continuera logiquement la scène existante. Le modèle génère le nouveau contenu et remplit la zone masquée.

Par exemple, vous pouvez modifier le format d'une image ou ajouter du contexte à l'arrière-plan.

Remplacer l'arrière-plan

Vous pouvez remplacer l'arrière-plan d'une image.

Fonctionnement : vous fournissez une image d'origine et une image masquée correspondante qui définit un masque sur l'arrière-plan, soit à l'aide de la détection automatique de l'arrière-plan, soit en fournissant vous-même le masque de l'arrière-plan. Vous fournissez également une requête textuelle décrivant ce que vous souhaitez modifier. Le modèle génère et applique ensuite un nouvel arrière-plan.

Par exemple, vous pouvez modifier le paramètre autour d'un sujet ou d'un objet sans affecter le premier plan (par exemple, dans une image de produit).

Personnalisation

La personnalisation vous permet de modifier ou de générer des images à l'aide de requêtes textuelles et d'images de référence qui guident le modèle pour générer une nouvelle image en fonction d'un style, d'un sujet (comme un produit, une personne ou un animal) ou d'un contrôle spécifiques.

Personnaliser en fonction d'un style

Vous pouvez modifier ou générer des images en fonction d'un style spécifique.

Fonctionnement : vous fournissez une requête textuelle et au moins une image de référence qui montre un style spécifique (comme un motif, une texture ou un style de conception). Le modèle utilise ces entrées pour générer une nouvelle image basée sur le style spécifié dans les images de référence.

Par exemple, vous pouvez générer une nouvelle image de cuisine à partir d'une image d'un catalogue de vente au détail populaire que vous fournissez.

Personnaliser en fonction d'un sujet

Vous pouvez modifier ou générer des images en fonction d'un sujet spécifique.

Fonctionnement : vous fournissez un prompt textuel et au moins une image de référence montrant un sujet spécifique (comme un produit, une personne ou un animal de compagnie). Le modèle utilise ces entrées pour générer une nouvelle image basée sur le sujet spécifié dans les images de référence.

Par exemple, vous pouvez demander au modèle d'appliquer un style dessin animé à la photo d'un enfant ou de changer la couleur d'un vélo sur une image.

Personnaliser en fonction d'un contrôle

Vous pouvez modifier ou générer des images en fonction d'un contrôle spécifique.

Fonctionnement : vous fournissez une requête textuelle et au moins une image de référence de contrôle (comme un dessin ou une image de contours Canny). Le modèle utilise ces entrées pour générer une nouvelle image basée sur les images de contrôle.

Par exemple, vous pouvez fournir au modèle un dessin d'une fusée et de la lune, ainsi qu'une requête textuelle pour créer une aquarelle basée sur le dessin.


Envoyer des commentaires sur votre expérience avec Firebase AI Logic