Panoramica della modifica delle immagini con Imagen


Disponibile solo quando utilizzi Vertex AI Gemini API come provider API.


Gli SDK Firebase AI Logic ti danno accesso ai modelli Imagen (tramite l'API Imagen) in modo da poter modificare le immagini utilizzando:

  • Modifica basata su maschera, come inserire e rimuovere oggetti, espandere i contenuti dell'immagine oltre i bordi originali e sostituire gli sfondi

  • Opzioni di personalizzazione in base a stile (ad es. motivo, trama o stile dell'artista), soggetto (ad es. prodotto, persona o animale) o controllo (ad es. uno schizzo disegnato a mano).

Questa pagina descrive in modo generale ogni opzione di modifica. Ogni opzione ha una pagina separata con maggiori dettagli ed esempi di codice.

Modelli che supportano questa funzionalità

Imagen offre la modifica delle immagini tramite il modello capability:

  • imagen-3.0-capability-001

Tieni presente che per i modelli Imagen, la posizione global non è supportata.

Modifica basata su maschera

La modifica basata su maschera ti consente di apportare modifiche precise e localizzate a un'immagine. Il modello apporta modifiche esclusivamente all'interno di un'area mascherata definita dell'immagine. Una maschera è una sovrapposizione digitale che definisce l'area specifica che vuoi modificare. L'area mascherata può essere rilevata e creata automaticamente dal modello oppure definita in un'immagine mascherata che fornisci. A seconda del caso d'uso, il modello potrebbe richiedere un prompt di testo per sapere quali modifiche apportare.

Di seguito sono riportati i casi d'uso comuni per la modifica basata su maschera:

Inserire oggetti (inpainting)

Puoi utilizzare l'inpainting per inserire oggetti in un'immagine.

Come funziona: fornisci un'immagine originale e un'immagine mascherata corrispondente, generata automaticamente o fornita da te, che definisce una maschera su un'area in cui vuoi aggiungere nuovi contenuti. Puoi anche fornire un prompt di testo che descriva ciò che vuoi aggiungere. Il modello procede a generare e aggiungere nuovi contenuti all'interno dell'area mascherata.

Ad esempio, puoi mascherare un tavolo e chiedere al modello di aggiungere un vaso di fiori.

Rimuovere oggetti (inpainting)

Puoi utilizzare la pittura di riempimento per rimuovere oggetti da un'immagine.

Come funziona: fornisci un'immagine originale e un'immagine mascherata corrispondente, generata automaticamente o fornita da te, che definisce una maschera sull'oggetto o sul soggetto che vuoi rimuovere. Puoi anche fornire facoltativamente un prompt di testo che descriva ciò che vuoi rimuovere oppure il modello può rilevare in modo intelligente quale oggetto rimuovere. Il modello rimuove l'oggetto e riempie l'area con nuovi contenuti adatti al contesto.

Ad esempio, puoi mascherare una palla e sostituirla con un muro vuoto o un campo erboso.

Espandere un'immagine oltre i suoi bordi originali (outpainting)

Puoi utilizzare l'outpainting per espandere un'immagine oltre i suoi bordi originali.

Come funziona: fornisci un'immagine originale e un'immagine mascherata corrispondente, generata automaticamente o fornita da te, che definisce una maschera della nuova area espansa. Puoi anche fornire facoltativamente un prompt di testo che descriva ciò che vuoi nell'area espansa oppure il modello può decidere in modo intelligente cosa continuerà logicamente la scena esistente. Il modello genera i nuovi contenuti e riempie l'area mascherata.

Ad esempio, puoi modificare le proporzioni di un'immagine o aggiungere più contesto di sfondo.

Sostituire lo sfondo

Puoi sostituire lo sfondo di un'immagine.

Come funziona: fornisci un'immagine originale e un'immagine mascherata corrispondente che definisce una maschera sullo sfondo, utilizzando il rilevamento automatico dello sfondo o fornendo tu stesso la maschera dello sfondo. Fornisci anche un prompt di testo che descriva ciò che vuoi modificare. Il modello genera e applica quindi un nuovo sfondo.

Ad esempio, puoi modificare l'impostazione relativa a un soggetto o un oggetto senza influire sul primo piano (ad esempio, in un'immagine di prodotto).

Personalizzazione

La personalizzazione ti consente di modificare o generare immagini utilizzando prompt di testo e immagini di riferimento che guidano il modello a generare una nuova immagine in base a uno stile, a un soggetto (come un prodotto, una persona o un animale) o a un controllo specifici.

Personalizzare in base a uno stile

Puoi modificare o generare immagini in base a uno stile specifico.

Come funziona: fornisci un prompt di testo e almeno un'immagine di riferimento che mostri uno stile specifico (come un motivo, una trama o uno stile di design). Il modello utilizza questi input per generare una nuova immagine in base allo stile specificato nelle immagini di riferimento.

Ad esempio, puoi generare una nuova immagine di una cucina basata su un'immagine di un catalogo di vendita al dettaglio popolare che fornisci.

Personalizzare in base a un argomento

Puoi modificare o generare immagini in base a un soggetto specifico.

Come funziona: fornisci un prompt di testo e almeno un'immagine di riferimento che mostri un soggetto specifico (ad esempio un prodotto, una persona o un animale domestico). Il modello utilizza questi input per generare una nuova immagine basata sul soggetto specificato nelle immagini di riferimento.

Ad esempio, puoi chiedere al modello di applicare uno stile cartoon a una foto di un bambino o di cambiare il colore di una bicicletta in un'immagine.

Personalizzare in base a un controllo

Puoi modificare o generare immagini in base a un controllo specificato.

Come funziona: fornisci un prompt di testo e almeno un'immagine di riferimento di controllo (ad esempio un disegno o un'immagine Canny Edge). Il modello utilizza questi input per generare una nuova immagine basata sulle immagini di controllo.

Ad esempio, puoi fornire al modello un disegno di un'astronave e della luna insieme a un prompt di testo per creare un dipinto ad acquerello basato sul disegno.


Fornisci un feedback sulla tua esperienza con Firebase AI Logic