使用 Imagen 编辑图片概览


仅在使用 Vertex AI Gemini API 作为 API 提供方时可用。


借助 Firebase AI Logic SDK,您可以访问 Imagen 模型(通过 Imagen API), 以便使用以下任一方式修改图片:

本页简要介绍了每种修改选项。每个选项都有自己的单独页面,其中包含更多详细信息和代码示例。

支持此功能的模型

Imagen 通过其 capability 模型提供图片修改功能:

  • imagen-3.0-capability-001

请注意,对于 Imagen 模型,global 位置 不支持

基于蒙版的修改

借助基于蒙版的修改 ,您可以对图片进行局部、精确的更改。模型仅在图片的已定义 蒙版区域 内进行更改。蒙版 是一种数字叠加层,用于定义您要修改的特定区域。蒙版区域可以由模型自动检测和创建,也可以在您提供的蒙版图片中定义。根据应用场景,模型可能需要文本提示才能了解要进行的更改。

以下是基于蒙版的修改的常见使用场景:

插入对象(修复)

您可以使用修复功能将对象 插入 图片中。

工作原理:您提供原始图片和 相应的蒙版图片(自动生成或由您提供),该蒙版图片 定义了您要添加新内容的区域的蒙版。您还可以 提供文本提示,描述要添加的内容。然后,模型会在蒙版区域内生成并添加新内容。

例如,您可以对桌子进行蒙版处理,并提示模型添加一瓶 鲜花。

移除对象(修复)

您可以使用修复功能从图片中 移除对象

工作原理:您提供原始图片和相应的蒙版图片(自动生成或由您提供),该蒙版图片定义了您要移除的对象或正文蒙版。您还可以选择提供文本提示来描述要移除的内容,或者模型可以智能地检测要移除的对象。然后,模型会移除该对象,并使用新的、与上下文相关的内容填充该区域。

例如,您可以对球进行蒙版处理,并将其替换为空白墙壁或草地 。

将图片扩展到原始边界之外(扩绘)

您可以使用 扩绘 功能将图片 扩展到原始边界之外

工作原理:您提供原始图片和相应的蒙版图片(自动生成或由您提供),该蒙版图片定义了新的扩展区域的蒙版。您还可以选择提供一个 文本提示来描述您希望在扩展区域中显示的内容,或者模型可以 智能地决定哪些内容将以逻辑方式延续现有场景。模型会生成新内容并填充蒙版区域。

例如,您可以更改图片的宽高比或添加更多背景 上下文。

替换背景

您可以 替换图片的背景

工作原理:您提供原始图片和相应的蒙版图片,该蒙版图片定义了背景的蒙版(使用自动背景检测或自行提供背景蒙版)。您还可以提供文本提示,描述要更改的内容。然后,模型会生成并应用新背景。

例如,您可以更改主题或对象周围的设置,而不会影响前景(例如,在产品图片中)。

自定义

借助自定义 功能,您可以使用文本提示和 参考图片来编辑或生成图片,这些提示和图片会引导模型根据指定的样式主题(例如产品、人物或动物)或 控制生成新图片。

根据样式进行自定义

您可以 根据指定的 样式编辑或生成图片。

工作原理:您提供文本提示和至少一张显示特定样式(例如图案、纹理或设计风格)的参考图片。模型会使用这些输入,根据参考图片中指定的 样式 生成新图片。

例如,您可以根据您提供的热门零售目录中的图片生成厨房的新图片。

根据主题进行自定义

您可以 根据指定的 主题编辑或生成图片。

工作原理:您提供文本提示和至少一张显示特定主题(例如产品、人物或宠物)的参考图片。模型会使用这些输入,根据参考图片中指定的 主题 生成新图片。

例如,您可以要求模型将卡通风格应用于儿童照片,或更改图片中自行车的颜色。

根据控制进行自定义

您可以 根据指定的 控制 编辑或生成图片。

工作原理:您提供文本提示和至少一张 控制参考图片(例如绘图或 Canny 边缘图片)。模型会使用这些输入,根据控制图片生成新图片。

例如,您可以向模型提供火箭和 月球的绘图以及文本提示,以根据该 绘图创建水彩画。


提供反馈 有关您的使用体验Firebase AI Logic