Übersicht über das Bearbeiten von Bildern mit Imagen


Nur verfügbar, wenn Sie Vertex AI Gemini API als API-Anbieter verwenden.


Mit den Firebase AI Logic-SDKs haben Sie Zugriff auf die Imagen-Modelle (über die Imagen API), sodass Sie Bilder mit einer der folgenden Methoden bearbeiten können:

  • Maskenbasierte Bearbeitung, z. B. das Einfügen und Entfernen von Objekten, das Erweitern von Bildinhalten über die ursprünglichen Grenzen hinaus und das Ersetzen von Hintergründen

  • Anpassungsoptionen basierend auf Stil (z. B. Muster, Textur oder Künstlerstil), Motiv (z. B. Produkt, Person oder Tier) oder Steuerung (z. B. eine handgezeichnete Skizze).

Auf dieser Seite werden die einzelnen Bearbeitungsoptionen allgemein beschrieben. Für jede Option gibt es eine eigene Seite mit weiteren Details und Codebeispielen.

Modelle, die diese Funktion unterstützen

Imagen bietet Bildbearbeitung über das capability-Modell:

  • imagen-3.0-capability-001

Bei Imagen-Modellen wird der Speicherort global nicht unterstützt.

Maskenbasierte Bearbeitung

Mit der maskenbasierten Bearbeitung können Sie lokale, präzise Änderungen an einem Bild vornehmen. Das Modell nimmt Änderungen ausschließlich innerhalb eines definierten maskierten Bereichs des Bildes vor. Eine Maske ist eine digitale Überlagerung, mit der Sie den zu bearbeitenden Bereich festlegen. Der maskierte Bereich kann entweder automatisch vom Modell erkannt und erstellt werden oder in einem von Ihnen bereitgestellten maskierten Bild definiert werden. Je nach Anwendungsfall benötigt das Modell möglicherweise einen Text-Prompt, um zu wissen, welche Änderungen vorgenommen werden sollen.

Hier sind die gängigen Anwendungsfälle für die maskenbasierte Bearbeitung:

Objekte einfügen (Inpainting)

Mit Inpainting können Sie Objekte in ein Bild einfügen.

So funktioniert es: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird. Das maskierte Bild definiert eine Maske für einen Bereich, in dem Sie neue Inhalte hinzufügen möchten. Sie können auch einen Text-Prompt angeben, der beschreibt, was Sie hinzufügen möchten. Das Modell generiert und fügt dann neue Inhalte im maskierten Bereich hinzu.

Sie können beispielsweise eine Tabelle maskieren und das Modell auffordern, eine Blumenvase hinzuzufügen.

Objekte entfernen (Inpainting)

Mit Inpainting können Sie Objekte aus einem Bild entfernen.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird. Das maskierte Bild definiert eine Maske für das Objekt oder Motiv, das Sie entfernen möchten. Sie können optional auch einen Text-Prompt angeben, in dem Sie beschreiben, was Sie entfernen möchten. Das Modell kann aber auch intelligent erkennen, welches Objekt entfernt werden soll. Das Modell entfernt dann das Objekt und füllt den Bereich mit neuen, kontextbezogenen Inhalten.

Sie können beispielsweise einen Ball maskieren und durch eine leere Wand oder ein Grasfeld ersetzen.

Bild über die ursprünglichen Grenzen hinaus erweitern (Outpainting)

Mit Outpainting können Sie ein Bild über seine ursprünglichen Grenzen hinaus erweitern.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird und eine Maske des neuen, erweiterten Bereichs definiert. Optional können Sie auch einen Text-Prompt eingeben, um zu beschreiben, was im maximierten Bereich generiert werden soll. Das Modell kann aber auch selbst entscheiden, was logisch zur vorhandenen Szene passt. Das Modell generiert die neuen Inhalte und füllt den maskierten Bereich aus.

Sie können beispielsweise das Seitenverhältnis eines Bildes ändern oder mehr Hintergrundkontext hinzufügen.

Hintergrund ersetzen

Sie können den Hintergrund eines Bildes ersetzen.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das eine Maske für den Hintergrund definiert. Dies kann entweder durch die automatische Hintergrunderkennung erfolgen oder Sie stellen die Maske des Hintergrunds selbst bereit. Sie geben auch einen Text-Prompt an, der beschreibt, was Sie ändern möchten. Das Modell generiert und wendet dann einen neuen Hintergrund an.

Sie können beispielsweise die Umgebung eines Motivs oder Objekts ändern, ohne den Vordergrund zu beeinflussen (z. B. in einem Produktbild).

Anpassung

Mit der Anpassung können Sie Bilder mithilfe von Text-Prompts und Referenzbildern bearbeiten oder generieren. Das Modell wird so angewiesen, ein neues Bild basierend auf einem bestimmten Stil, einem Motiv (z. B. ein Produkt, eine Person oder ein Tier) oder einer Steuerung zu generieren.

Anpassung basierend auf einem Stil

Sie können Bilder bearbeiten oder generieren lassen, die einem bestimmten Stil entsprechen.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Referenzbild mit einem bestimmten Stil an, z. B. ein Muster, eine Textur oder einen Designstil. Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf dem angegebenen Stil in den Referenzbildern zu generieren.

Sie können beispielsweise ein neues Bild einer Küche auf Grundlage eines Bilds aus einem beliebten Einzelhandelskatalog generieren, den Sie bereitstellen.

Anpassen basierend auf einem Thema

Sie können Bilder anhand eines bestimmten Motivs bearbeiten oder generieren.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Referenzbild an, auf dem ein bestimmtes Motiv zu sehen ist, z. B. ein Produkt, eine Person oder ein Tier. Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf dem angegebenen Motiv in den Referenzbildern zu generieren.

Sie können das Modell beispielsweise bitten, ein Foto eines Kindes in einen Cartoon zu verwandeln oder die Farbe eines Fahrrads auf einem Bild zu ändern.

Anpassung basierend auf einer Kontrollvariablen

Sie können Bilder anhand einer bestimmten Kontrolle bearbeiten oder generieren.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Kontrollreferenzbild an, z. B. eine Zeichnung oder ein Canny-Edge-Bild. Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf den Kontrollbildern zu generieren.

Sie können dem Modell beispielsweise eine Zeichnung eines Raumschiffs und des Mondes zusammen mit einem Text-Prompt zur Verfügung stellen, um ein Aquarellgemälde auf Grundlage der Zeichnung zu erstellen.


Feedback zu Firebase AI Logic geben