Omówienie edytowania obrazów za pomocą Imagen


Dostępne tylko wtedy, gdy jako dostawcę interfejsu API używasz Vertex AI Gemini API.


Pakiety SDK Firebase AI Logic zapewniają dostęp do modeli Imagen (za pomocą Imagen interfejsu API), dzięki czemu możesz edytować obrazy za pomocą:

  • Edytowanie na podstawie maski, np. wstawianie i usuwanie obiektów, rozszerzanie zawartości obrazu poza oryginalne granice oraz zastępowanie tła.

  • Opcje dostosowywania na podstawie stylu (np. wzoru, tekstury lub stylu artysty), tematu (np. produktu, osoby lub zwierzęcia) lub kontroli (np. ręcznie narysowanego szkicu).

Na tej stronie znajdziesz ogólny opis każdej opcji edycji. Każda opcja ma osobną stronę z większą ilością szczegółów i przykładowym kodem.

Modele obsługujące tę funkcję

Imagen oferuje edycję obrazów za pomocą modelu capability:

  • imagen-3.0-capability-001

Pamiętaj, że w przypadku modeli Imagen lokalizacja global nie jest obsługiwana.

Edytowanie na podstawie maski

Edytowanie na podstawie maski umożliwia wprowadzanie precyzyjnych zmian w określonych obszarach obrazu. Model wprowadza zmiany wyłącznie w określonym zamaskowanym obszarze obrazu. Maska to cyfrowa nakładka określająca konkretny obszar, który chcesz edytować. Zamaskowany obszar może zostać wykryty i utworzony automatycznie przez model lub zdefiniowany w zamaskowanym obrazie, który podasz. W zależności od przypadku użycia model może wymagać promptu tekstowego, aby wiedzieć, jakie zmiany wprowadzić.

Oto typowe zastosowania edycji opartej na maskach:

Wstawianie obiektów (uzupełnianie)

Za pomocą retuszowania możesz wstawiać obiekty do obrazu.

Jak to działa: przesyłasz oryginalny obraz i odpowiadający mu obraz z maską (wygenerowany automatycznie lub przez Ciebie), który definiuje maskę obszaru, do którego chcesz dodać nowe treści. Możesz też podać prompta tekstowego z opisem tego, co chcesz dodać. Model generuje i dodaje nowe treści w zamaskowanym obszarze.

Możesz na przykład zamaskować stół i poprosić model o dodanie wazonu z kwiatami.

Usuwanie obiektów (wypełnianie)

Możesz użyć wypełniania, aby usunąć obiekty z obrazu.

Jak to działa: przesyłasz oryginalny obraz i odpowiadający mu obraz z maską – wygenerowany automatycznie lub przesłany przez Ciebie – który definiuje maskę obiektu lub osoby, które chcesz usunąć. Możesz też opcjonalnie podać prompt tekstowy opisujący, co chcesz usunąć, lub model może inteligentnie wykryć, który obiekt należy usunąć. Model usuwa obiekt i wypełnia obszar nową, odpowiednią do kontekstu zawartością.

Możesz na przykład zamaskować piłkę i zastąpić ją pustą ścianą lub trawiastym polem.

Rozszerzanie obrazu poza jego pierwotne granice (outpainting)

Możesz użyć rozszerzania obrazu, aby rozszerzyć obraz poza jego oryginalne granice.

Jak to działa: przesyłasz oryginalny obraz i odpowiadający mu obraz z maską – wygenerowany automatycznie lub przez Ciebie – który definiuje maskę nowego, rozszerzonego obszaru. Możesz też opcjonalnie podać prompt tekstowy opisujący, co chcesz uzyskać w rozszerzonym obszarze. Model może też inteligentnie zdecydować, co będzie logicznym rozwinięciem istniejącej sceny. Model generuje nowe treści i wypełnia zamaskowany obszar.

Możesz na przykład zmienić format obrazu lub dodać więcej kontekstu tła.

Zmiana tła

Możesz zastąpić tło obrazu.

Jak to działa: przesyłasz oryginalny obraz i odpowiadający mu obraz z maską, która definiuje maskę tła. Możesz to zrobić za pomocą automatycznego wykrywania tła lub samodzielnie podać maskę tła. Możesz też podać prompta tekstowego opisującego, co chcesz zmienić. Model generuje i stosuje nowe tło.

Możesz na przykład zmienić ustawienia dotyczące obiektu lub przedmiotu bez wpływu na pierwszy plan (np. na zdjęciu produktu).

Dostosowywanie

Dostosowywanie umożliwia edytowanie lub generowanie obrazów za pomocą promptów tekstowych i obrazów referencyjnych, które pomagają modelowi wygenerować nowy obraz na podstawie określonego stylu, obiektu (np. produktu, osoby lub zwierzęcia) lub elementu sterującego.

Dostosowywanie na podstawie stylu

Możesz edytować lub generować obrazy na podstawie określonego stylu.

Jak to działa: podajesz prompt tekstowy i co najmniej 1 obraz referencyjny, który przedstawia określony styl (np. wzór, teksturę lub styl projektu). Model wykorzystuje te dane wejściowe do wygenerowania nowego obrazu na podstawie określonego stylu na obrazach referencyjnych.

Możesz na przykład wygenerować nowy obraz kuchni na podstawie obrazu z popularnego katalogu detalicznego, który udostępnisz.

Dostosowywanie na podstawie tematu

Możesz edytować lub generować obrazy na podstawie określonego obiektu.

Jak to działa: podajesz prompt tekstowy i co najmniej 1 obraz referencyjny przedstawiający konkretny obiekt (np. produkt, osobę lub zwierzę). Model wykorzystuje te dane wejściowe do wygenerowania nowego obrazu na podstawie określonego obiektu na obrazach referencyjnych.

Możesz na przykład poprosić model o zastosowanie stylu kreskówkowego do zdjęcia dziecka lub zmianę koloru roweru na obrazie.

Dostosowywanie na podstawie elementu sterującego

Możesz edytować lub generować obrazy na podstawie określonego elementu sterującego.

Jak to działa: podajesz prompt tekstowy i co najmniej 1 kontrolny obraz referencyjny (np. rysunek lub obraz z wykrytymi krawędziami Canny). Model wykorzystuje te dane wejściowe do wygenerowania nowego obrazu na podstawie obrazów kontrolnych.

Możesz na przykład przesłać modelowi rysunek rakiety i księżyca wraz z promptem tekstowym, aby utworzyć na jego podstawie obraz akwarelowy.


Prześlij opinię o korzystaniu z usługi Firebase AI Logic