使用 Imagen 編輯圖片總覽


只有在使用 Vertex AI Gemini API 做為 API 供應商時,才能使用這項功能。


Firebase AI Logic SDK 可讓您存取Imagen模型 (透過 Imagen API),以便使用下列任一方式編輯圖片:

  • 以遮罩為基礎的編輯,例如插入和移除物件、將圖片內容擴展到原始邊界之外,以及更換背景

  • 自訂選項,可根據風格 (例如圖案、紋理或藝術家風格)、主題 (例如產品、人物或動物) 或控制 (例如手繪草圖) 進行調整。

本頁面將概略說明各項編輯選項,每個選項都有專屬頁面,提供更多詳細資料和程式碼範例。

支援這項功能的模型

Imagen 可透過 capability 模型編輯圖片:

  • imagen-3.0-capability-001

請注意,Imagen 型號global不支援位置資訊。

遮罩型編輯

遮蓋型編輯功能可讓您對圖片進行局部精準的變更。模型只會變更圖片中定義的遮蔽區域遮罩是定義要編輯特定區域的數位疊加層。遮蓋區域可由模型自動偵測及建立,也可在您提供的遮蓋圖片中定義。視用途而定,模型可能需要文字提示,才能瞭解要進行哪些變更。

以下是遮罩編輯功能的常見用途:

插入物件 (修復)

你可以使用修復功能在圖片中插入物件

運作方式:提供原始圖片和相應的遮罩圖片 (自動生成或由你提供),定義要新增內容的區域遮罩。你也可以提供文字提示詞,描述要新增的內容。模型隨即會生成新內容,並新增至遮蓋區域內。

舉例來說,你可以遮蓋桌子,然後提示模型新增一瓶花。

移除物件 (修復)

你可以使用修復功能移除圖片中的物件

運作方式:您提供原始圖片和相應的遮罩圖片 (系統自動生成或您提供),定義要移除的物體或主體遮罩。你也可以選擇提供文字提示,說明要移除的內容,或是讓模型智慧偵測要移除的物件。模型隨即會移除物件,並以符合情境的新內容填補該區域。

舉例來說,你可以遮蓋一顆球,並將其替換成空白牆面或草地。

將圖片擴展到原始邊框之外 (外繪)

你可以使用外擴功能,將圖片擴展到原始邊框外

運作方式:您提供原始圖片和相應的遮罩圖片 (系統自動生成或您提供),定義新擴展區域的遮罩。您也可以選擇提供文字提示,描述要在展開區域中生成的內容,或是讓模型根據現有場景,智慧判斷要接續的內容。模型會生成新內容,並填入遮蓋區域。

例如,你可以變更圖片的顯示比例,或加入更多背景情境。

更換背景

你可以更換圖片背景

運作方式:您提供原始圖片和對應的遮罩圖片,定義背景的遮罩 (使用自動背景偵測功能或自行提供背景遮罩)。您也可以提供文字提示,說明要變更的內容。 模型隨即會生成並套用新背景。

舉例來說,你可以在不影響前景的情況下,變更主體或物體周圍的設定 (例如產品圖片)。

自訂

自訂功能可讓你使用文字提示和參考圖片編輯或生成圖片,引導模型根據指定風格主題 (例如產品、人物或動物) 或控制項生成新圖片。

根據樣式自訂

您可以根據指定的風格編輯或生成圖片

運作方式:提供文字提示和至少一張參考圖片,圖片中顯示特定風格 (例如圖案、紋理或設計風格)。模型會根據參考圖片中指定的風格,使用這些輸入內容生成新圖片。

舉例來說,您可以根據熱門零售目錄中的圖片,生成廚房的新圖片。

根據主題自訂

您可以根據指定的主題編輯或生成圖片

運作方式:您提供文字提示和至少一張參考圖片,當中顯示特定主體 (例如產品、人物或寵物)。模型會根據參考圖片中指定的主體,使用這些輸入內容生成新圖片。

例如,你可以要求模型將兒童相片套用卡通風格,或是變更圖片中腳踏車的顏色。

根據控制項自訂

您可以根據指定的控制項編輯或生成圖片

運作方式:提供文字提示和至少一張控制參考圖片 (例如繪圖或 Canny 邊緣圖片)。模型會根據控制圖片,使用這些輸入內容生成新圖片。

舉例來說,你可以提供火箭和月球的繪圖,以及文字提示,讓模型根據繪圖製作水彩畫。


提供有關 Firebase AI Logic 的使用體驗意見回饋