Vertex AI in Firebase SDK 可让您通过 Imagen API 访问 Imagen 3 模型,以便根据文本提示生成图片。借助此功能,您可以执行以下操作:
- 根据用自然语言编写的提示生成图片
- 生成各种格式和风格的图片
- 在图片中渲染文本
请注意,Vertex AI in Firebase 尚不支持 Imagen 模型提供的所有功能。如需了解详情,请参阅本页下文中的支持的功能和特性。
准备工作
如果您尚未完成入门指南,请先完成该指南。该指南介绍了如何设置 Firebase 项目、将应用连接到 Firebase、添加 SDK、初始化 Vertex AI 服务以及创建 ImagenModel
实例。
请确保您至少使用以下 Firebase 库版本:
iOS+:v11.9.0+ |
Android:v16.2.0+(BoM:v33.10.0+)|
Web:v11.4.1+ |
Flutter:v1.4.0+(BoM:v3.8.0+)
支持此功能的模型
Imagen 3 模型支持图片生成。我们很快将支持使用 Gemini 2.0 模型生成图片。
根据纯文本输入生成图片
您可以通过文本提示来要求 Imagen 模型生成图片。您可以生成一张图片或多张图片。
根据纯文本输入生成一张图片
在尝试此示例之前,请务必先完成本指南的准备工作部分。
您可以通过文本提示,让 Imagen 模型生成单张图片。
请务必创建 ImagenModel
实例并调用 generateImages
。
Kotlin
// Using Imagen with Vertex AI in Firebase is in public preview
// It requires opt-in to use the API
@OptIn(PublicPreviewAPI::class)
suspend fun generateImage() {
// Initialize the Vertex AI service and create an `ImagenModel` instance
// Specify an Imagen 3 model that supports your use case
val imagenModel = Firebase.vertexAI.imagenModel("imagen-3.0-generate-002")
// Provide an image generation prompt
val prompt = "An astronaut riding a horse"
// To generate an image, call `generateImages` with the text prompt
val imageResponse = imagenModel.generateImages(prompt)
// Handle the generated image
val image = imageResponse.images.first()
val bitmapImage = image.asBitmap()
}
Java
// Initialize the Vertex AI service and create an `ImagenModel` instance
// Specify an Imagen 3 model that supports your use case
ImagenModel imagenModel = FirebaseVertexAI.getInstance().imagenModel(
/* modelName */ "imagen-3.0-generate-002");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// Provide an image generation prompt
String prompt = "An astronaut riding a horse";
// To generate an image, call `generateImages` with the text prompt
Futures.addCallback(model.generateImages(prompt), new FutureCallback<ImagenGenerationResponse<ImagenInlineImage>>() {
@Override
public void onSuccess(ImagenGenerationResponse<ImagenInlineImage> result) {
if (result.getImages().isEmpty()) {
Log.d("TAG", "No images generated");
}
Bitmap bitmap = result.getImages().get(0).asBitmap();
// Use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
根据纯文本输入生成多张图片
在尝试此示例之前,请务必先完成本指南的准备工作部分。
默认情况下,Imagen 3 模型每个请求只生成一张图片。不过,您可以通过在创建 ImagenModel
实例时提供 ImagenGenerationConfig
,让 Imagen 模型为每个请求生成多张图片。
请务必创建 ImagenModel
实例并调用 generateImages
。
Kotlin
// Using Imagen with Vertex AI in Firebase is in public preview
// It requires opt-in to use the API
@OptIn(PublicPreviewAPI::class)
suspend fun generateImage() {
// Initialize the Vertex AI service and create an `ImagenModel` instance
// Specify an Imagen 3 model that supports your use case
val imagenModel = Firebase.vertexAI.imagenModel(
modelName = "imagen-3.0-generate-002",
// Configure the model to generate multiple images for each request
// See: https://firebase.google.com/docs/vertex-ai/model-parameters
generationConfig = ImagenGenerationConfig(numberOfImages = 4)
)
// Provide an image generation prompt
val prompt = "An astronaut riding a horse"
// To generate images, call `generateImages` with the text prompt
val imageResponse = imagenModel.generateImages(prompt)
// If fewer images were generated than were requested,
// then `filteredReason` will describe the reason they were filtered out
if (imageResponse.filteredReason != null) {
Log.d(TAG, "FilteredReason: ${imageResponse.filteredReason}")
}
for (image in imageResponse.images) {
val bitmap = image.asBitmap()
// Use the bitmap to display the image in your UI
}
}
Java
// Configure the model to generate multiple images for each request
// See: https://firebase.google.com/docs/vertex-ai/model-parameters
ImagenGenerationConfig imagenGenerationConfig = new ImagenGenerationConfig.Builder()
.setNumberOfImages(4)
.build();
// Initialize the Vertex AI service and create an `ImagenModel` instance
// Specify an Imagen 3 model that supports your use case
ImagenModel imagenModel = FirebaseVertexAI.getInstance().imagenModel(
/* modelName */ "imagen-3.0-generate-002",
/* imageGenerationConfig */ imagenGenerationConfig);
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// Provide an image generation prompt
String prompt = "An astronaut riding a horse";
// To generate images, call `generateImages` with the text prompt
Futures.addCallback(model.generateImages(prompt), new FutureCallback<ImagenGenerationResponse<ImagenInlineImage>>() {
@Override
public void onSuccess(ImagenGenerationResponse<ImagenInlineImage> result) {
// If fewer images were generated than were requested,
// then `filteredReason` will describe the reason they were filtered out
if (result.getFilteredReason() != null){
Log.d("TAG", "FilteredReason: " + result.getFilteredReason());
}
// Handle the generated images
List<ImagenInlineImage> images = result.getImages();
for (ImagenInlineImage image : images) {
Bitmap bitmap = image.asBitmap();
// Use the bitmap to display the image in your UI
}
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
支持的功能和要求
Imagen 3 模型提供了许多与图片生成相关的功能。本部分介绍了将模型与 Vertex AI in Firebase 搭配使用时支持的功能。
支持的 capability 和功能
Vertex AI in Firebase 支持 Imagen 3 模型的这些功能。
生成人物和人脸(前提是您的 Firebase 项目已获得 Google Cloud 的批准)
在生成的图片中生成文本
为生成的图片添加水印
配置图片生成参数,例如生成的图片数量、宽高比和水印
配置安全设置
Vertex AI in Firebase 不支持 Imagen 3 模型的这些高级功能。
请注意,即使在服务器端使用 Imagen 模型,也需要位于已获批准的用户名单中才能使用其中的大多数功能。
图片编辑或处理功能,包括放大图片
在向模型发送的请求中添加图片(例如,用于少样本学习)
使用 SDK 验证数字水印
如果您想验证图片是否带有水印,可以使用 Vertex AI Studio 的 Media 标签页将图片上传到 Vertex AI Studio。根据文字生成“实况图片”(MP4 生成)
使用预定义风格生成图片
启用
includeSafetyAttributes
,这意味着无法返回safetyAttributes.categories
和safetyAttributes.scores
停用提示增强功能(
enhancePrompt
参数),这意味着基于 LLM 的重写提示工具将始终自动在所提供的提示中添加更多详细信息,以提供更高质量的图片,从而更好地反映所提供的提示将生成的图片直接写入 Google Cloud Storage,作为模型响应(
storageUri
参数)的一部分。相反,系统会在响应中始终以 base64 编码的图片字节的形式返回图片。
如果您想将生成的图片上传到 Cloud Storage,可以使用 Cloud Storage for Firebase。
规范和限制
限制(每个请求) | Imagen 3 | Imagen 3 Fast |
---|---|---|
输入 token 数上限 | 480 个词元 | 480 个词元 |
输出图片数量上限 | 4 张图片 | 4 张图片 |
支持的输出图片分辨率(像素) |
|
|
您还可以执行哪些操作?
- 开始考虑如何为正式版发布做好准备,包括设置 Firebase App Check,以保护您在应用中使用的 API 免遭未经授权的客户端滥用。 此外,请务必查看正式版核对清单。
了解如何控制内容生成
- 了解提示设计,包括最佳实践、策略和示例提示。
- 配置 Imagen 模型参数,例如宽高比、生成人物和添加水印。
- 使用安全设置来调整收到可能被视为有害的回答的可能性。
详细了解支持的模型
了解适用于各种用例的模型及其配额和价格。就您使用 Vertex AI in Firebase 的体验提供反馈