| 仅在使用 Vertex AI Gemini API 作为 API 提供方时可用。 |
借助 Firebase AI Logic SDK,您可以访问 Imagen 模型(通过 Imagen API), 以便使用以下任一方式修改图片:
基于蒙版的修改 ,例如插入和移除 对象、将图片内容扩展到原始边界之外,以及替换 背景
基于 样式 (例如 图案、纹理或艺术家风格)、 主题 (例如产品、人物或 动物)或 控制 (例如手绘草图)的自定义 选项。
本页简要介绍了每种修改选项。每个选项都有自己的单独页面,其中包含更多详细信息和代码示例。
支持此功能的模型
Imagen 通过其 capability
模型提供图片修改功能:
imagen-3.0-capability-001
请注意,对于 Imagen 模型,global 位置
不支持。
基于蒙版的修改
借助基于蒙版的修改 ,您可以对图片进行局部、精确的更改。模型仅在图片的已定义 蒙版区域 内进行更改。蒙版 是一种数字叠加层,用于定义您要修改的特定区域。蒙版区域可以由模型自动检测和创建,也可以在您提供的蒙版图片中定义。根据应用场景,模型可能需要文本提示才能了解要进行的更改。
以下是基于蒙版的修改的常见使用场景:
插入对象(修复)
您可以使用修复功能将对象 插入 图片中。
工作原理:您提供原始图片和 相应的蒙版图片(自动生成或由您提供),该蒙版图片 定义了您要添加新内容的区域的蒙版。您还可以 提供文本提示,描述要添加的内容。然后,模型会在蒙版区域内生成并添加新内容。
例如,您可以对桌子进行蒙版处理,并提示模型添加一瓶 鲜花。
移除对象(修复)
您可以使用修复功能从图片中 移除对象 。
工作原理:您提供原始图片和相应的蒙版图片(自动生成或由您提供),该蒙版图片定义了您要移除的对象或正文蒙版。您还可以选择提供文本提示来描述要移除的内容,或者模型可以智能地检测要移除的对象。然后,模型会移除该对象,并使用新的、与上下文相关的内容填充该区域。
例如,您可以对球进行蒙版处理,并将其替换为空白墙壁或草地 。
将图片扩展到原始边界之外(扩绘)
您可以使用 扩绘 功能将图片 扩展到原始边界之外。
工作原理:您提供原始图片和相应的蒙版图片(自动生成或由您提供),该蒙版图片定义了新的扩展区域的蒙版。您还可以选择提供一个 文本提示来描述您希望在扩展区域中显示的内容,或者模型可以 智能地决定哪些内容将以逻辑方式延续现有场景。模型会生成新内容并填充蒙版区域。
例如,您可以更改图片的宽高比或添加更多背景 上下文。
替换背景
您可以 替换图片的背景 。
工作原理:您提供原始图片和相应的蒙版图片,该蒙版图片定义了背景的蒙版(使用自动背景检测或自行提供背景蒙版)。您还可以提供文本提示,描述要更改的内容。然后,模型会生成并应用新背景。
例如,您可以更改主题或对象周围的设置,而不会影响前景(例如,在产品图片中)。
自定义
借助自定义 功能,您可以使用文本提示和 参考图片来编辑或生成图片,这些提示和图片会引导模型根据指定的样式、 主题(例如产品、人物或动物)或 控制生成新图片。
根据样式进行自定义
您可以 根据指定的 样式编辑或生成图片。
工作原理:您提供文本提示和至少一张显示特定样式(例如图案、纹理或设计风格)的参考图片。模型会使用这些输入,根据参考图片中指定的 样式 生成新图片。
例如,您可以根据您提供的热门零售目录中的图片生成厨房的新图片。
根据主题进行自定义
您可以 根据指定的 主题编辑或生成图片。
工作原理:您提供文本提示和至少一张显示特定主题(例如产品、人物或宠物)的参考图片。模型会使用这些输入,根据参考图片中指定的 主题 生成新图片。
例如,您可以要求模型将卡通风格应用于儿童照片,或更改图片中自行车的颜色。
根据控制进行自定义
您可以 根据指定的 控制 编辑或生成图片。
工作原理:您提供文本提示和至少一张 控制参考图片(例如绘图或 Canny 边缘图片)。模型会使用这些输入,根据控制图片生成新图片。
例如,您可以向模型提供火箭和 月球的绘图以及文本提示,以根据该 绘图创建水彩画。
提供反馈 有关您的使用体验Firebase AI Logic