使用 Imagen 编辑图片概览


仅在将 Vertex AI Gemini API 用作 API 提供方时可用。


借助 Firebase AI Logic SDK，您可以访问 Imagen 模型（通过 Imagen API），从而使用以下任一方式编辑图片：

  • 基于遮罩的编辑，例如插入和移除对象、将图片内容扩展到原始边框之外，以及替换背景

  • 基于样式（例如图案、纹理或艺术家风格）、主题（例如产品、人物或动物）或控制（例如手绘草图）的自定义选项。

本页将概略介绍每种编辑选项。每种选项都有自己的单独页面，其中包含更多详细信息和代码示例。

支持此功能的模型

Imagen 通过其 capability 模型提供图片编辑功能：

  • imagen-3.0-capability-001

请注意，对于 Imagen 模型，global 位置不受支持。

基于蒙版的修改

借助基于蒙版的修改，您可以对图片进行局部精确的更改。模型仅在图片的指定遮盖区域内进行更改。蒙版是一种数字叠加层，用于定义您要修改的特定区域。遮盖区域可由模型自动检测和创建，也可在您提供的遮盖图片中定义。根据具体用例，模型可能需要文本提示才能知道要进行哪些更改。

以下是基于蒙版的编辑功能的常见应用场景：

插入对象（修复）

您可以使用修复功能将对象插入图片中。

工作原理：您提供一张原始图片和一张相应的蒙版图片（自动生成或由您提供），该图片定义了您要添加新内容的区域的蒙版。您还可以提供文本提示，说明要添加的内容。然后，模型会在蒙版区域内生成并添加新内容。

例如，您可以遮盖一张桌子，然后提示模型添加一瓶鲜花。

移除对象（修复）

您可以使用修复功能从图片中移除对象。

运作方式：您提供一张原始图片和一张相应的蒙版图片（自动生成或由您提供），其中定义了要移除的对象或主题的蒙版。您还可以选择提供一段文本提示，描述要移除的内容，或者让模型智能检测要移除的对象。然后，模型会移除对象，并使用新的、符合上下文的内容填充该区域。

例如，您可以遮盖一个球，并将其替换为空白墙壁或草地。

将图片扩展到原始边界之外（扩绘）

您可以使用扩绘功能将图片扩展到原始边框之外。

工作原理：您提供原始图片和相应的蒙版图片（自动生成或由您提供），用于定义新扩展区域的蒙版。您还可以选择性地提供文字提示，描述您希望在扩展区域中显示的内容，或者让模型智能地决定哪些内容可以合理地延续现有场景。模型会生成新内容并填充遮盖区域。

例如，您可以更改图片的宽高比或添加更多背景内容。

替换背景

您可以替换图片背景。

工作原理：您提供一张原始图片和一张相应的遮盖图片，该图片定义了背景上的遮盖层，您可以使用自动背景检测功能，也可以自行提供背景遮盖层。您还可以提供文本提示，说明您要更改的内容。 然后，模型会生成并应用新的背景。

例如，您可以更改正文或对象周围的设置，而不会影响前景（例如，在商品图片中）。

自定义

借助自定义功能，您可以使用文本提示和参考图片来编辑或生成图片，引导模型根据指定的风格、主题（例如产品、人物或动物）或控制变量生成新图片。

根据样式进行自定义

您可以根据指定的风格编辑或生成图片。

运作方式：您提供一个文本提示和至少一张显示特定样式（例如图案、纹理或设计风格）的参考图片。模型会使用这些输入内容，根据参考图片中指定的风格生成新图片。

例如，您可以根据您提供的热门零售目录中的图片生成新的厨房图片。

根据主题进行自定义

您可以根据指定的主题编辑或生成图片。

运作方式：您提供文本提示和至少一张显示特定主题（例如商品、人物或宠物）的参考图片。模型会使用这些输入内容，根据参考图片中指定的对象生成新图片。

例如，您可以让模型将一张儿童照片处理成卡通风格，或更改图片中自行车的颜色。

根据控制变量进行自定义

您可以根据指定的控制编辑或生成图片。

运作方式：您提供文本提示和至少一张控制参考图片（例如涂鸦或 Canny 边缘图片）。模型使用这些输入来生成基于控制图片的新图片。

例如，您可以向模型提供火箭和月球的绘画，以及文本提示，让模型根据该绘画创作水彩画。


就您使用 Firebase AI Logic 的体验提供反馈