Trang này mô tả cách sử dụng tính năng inpainting bằng Imagen để xoá một đối tượng khỏi hình ảnh bằng SDK Firebase AI Logic.
Inpainting là một loại chỉnh sửa dựa trên mặt nạ. Mặt nạ là một lớp phủ kỹ thuật số xác định vùng cụ thể mà bạn muốn chỉnh sửa.
Cách hoạt động: Bạn cung cấp một hình ảnh gốc và một hình ảnh tương ứng được che phủ bằng mặt nạ (do hệ thống tự động tạo hoặc do bạn cung cấp) để xác định mặt nạ trên đối tượng hoặc chủ thể mà bạn muốn xoá. Bạn cũng có thể tuỳ ý cung cấp một câu lệnh dạng văn bản mô tả nội dung bạn muốn xoá hoặc mô hình có thể phát hiện một cách thông minh đối tượng cần xoá. Sau đó, mô hình sẽ xoá đối tượng và điền vào vùng đó nội dung mới, phù hợp với bối cảnh.
Ví dụ: bạn có thể che phủ một quả bóng bằng mặt nạ và thay thế bằng một bức tường trống hoặc một cánh đồng cỏ.
Chuyển đến mã cho mặt nạ được tạo tự động Chuyển đến mã để cung cấp mặt nạ
Trước khi bắt đầu
| Chỉ dùng được khi bạn sử dụng Vertex AI Gemini API làm nhà cung cấp API. |
Nếu chưa hoàn tất, hãy hoàn tất
hướng dẫn bắt đầu. Hướng dẫn này
mô tả cách thiết lập dự án Firebase, kết nối ứng dụng với Firebase,
thêm SDK, khởi chạy dịch vụ phụ trợ cho nhà cung cấp API mà bạn chọn và
tạo một thực thể ImagenModel.
Các mô hình hỗ trợ tính năng này
Imagen cung cấp tính năng chỉnh sửa hình ảnh thông qua mô hình capability:
imagen-3.0-capability-001
Xin lưu ý rằng đối với các mô hình Imagen, hệ thống không hỗ trợ vị trí global.
Xoá đối tượng bằng mặt nạ được tạo tự động
| Trước khi thử mẫu này, hãy hoàn tất phần Trước khi bắt đầu của hướng dẫn này để thiết lập dự án và ứng dụng. |
Mẫu sau đây cho biết cách sử dụng tính năng inpainting để xoá nội dung khỏi hình ảnh bằng cách tự động tạo mặt nạ. Bạn cung cấp hình ảnh gốc và một câu lệnh dạng văn bản, sau đó Imagen sẽ tự động phát hiện và tạo một vùng mặt nạ để sửa đổi hình ảnh gốc.
Swift
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho Swift. Hãy kiểm tra lại vào cuối năm nay!
Kotlin
Để xoá đối tượng bằng mặt nạ được tạo tự động, hãy chỉ định ImagenBackgroundMask. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.INPAINT_REMOVAL.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(
ImagenRawImage(originalImage.toImagenInlineImage()),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
),
prompt = prompt,
// Define the editing configuration for inpainting and insertion.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
Để xoá đối tượng bằng mặt nạ được tạo tự động, hãy chỉ định ImagenBackgroundMask. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.INPAINT_REMOVAL.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage =
new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenBackgroundMask() to auto-generate the mask.
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask();
ImagenEditingConfig config = new ImagenEditingConfig();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho ứng dụng web. Hãy kiểm tra lại vào cuối năm nay!
Dart
Để xoá đối tượng bằng mặt nạ được tạo tự động, hãy chỉ định ImagenBackgroundMask. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.inpaintRemoval.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
TODO - FLUTTER// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
],
prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
Unity
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho Unity. Hãy kiểm tra lại vào cuối năm nay!
Xoá đối tượng bằng mặt nạ do bạn cung cấp
| Trước khi thử mẫu này, hãy hoàn tất phần Trước khi bắt đầu của hướng dẫn này để thiết lập dự án và ứng dụng. |
Mẫu sau đây cho biết cách sử dụng tính năng inpainting để xoá nội dung khỏi hình ảnh bằng mặt nạ được xác định trong hình ảnh mà bạn cung cấp. Bạn cung cấp hình ảnh gốc, một câu lệnh dạng văn bản và hình ảnh được che phủ bằng mặt nạ.
Bạn có thể tuỳ ý cung cấp câu lệnh dạng văn bản nếu cung cấp hình ảnh được che phủ bằng mặt nạ. Imagen có thể phát hiện một cách thông minh đối tượng cần xoá khỏi vùng được che phủ bằng mặt nạ. Tuy nhiên, nếu đối tượng bạn muốn xoá không rõ ràng hoặc bạn chỉ muốn xoá các đối tượng cụ thể trong vùng được che phủ bằng mặt nạ, thì hãy cung cấp câu lệnh dạng văn bản để giúp mô hình xoá đúng đối tượng.
Swift
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho Swift. Hãy kiểm tra lại vào cuối năm nay!
Kotlin
Để xoá đối tượng và cung cấp hình ảnh được che phủ bằng mặt nạ của riêng bạn, hãy chỉ định ImagenRawMask bằng hình ảnh được che phủ bằng mặt nạ. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.INPAINT_REMOVAL.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
val maskImage: Bitmap = TODO("Load your masked image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(
ImagenRawImage(originalImage.toImagenInlineImage()),
ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
),
prompt = prompt,
// Define the editing configuration for inpainting and removal.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
Để xoá đối tượng và cung cấp hình ảnh được che phủ bằng mặt nạ của riêng bạn, hãy chỉ định ImagenRawMask bằng hình ảnh được che phủ bằng mặt nạ. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.INPAINT_REMOVAL.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage =
new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenRawMask() to provide your own masked image.
ImagenBackgroundMask rawMaskedImage =
new ImagenRawMask(ImagenInlineImageKt.toImagenInlineImage(maskImage));
ImagenEditingConfig config = new ImagenEditingConfig();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho ứng dụng web. Hãy kiểm tra lại vào cuối năm nay!
Dart
Để xoá đối tượng và cung cấp hình ảnh được che phủ bằng mặt nạ của riêng bạn, hãy chỉ định ImagenRawMask bằng hình ảnh được che phủ bằng mặt nạ. Sử dụng
editImage()
và đặt cấu hình chỉnh sửa để sử dụng ImagenEditMode.inpaintRemoval.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
],
prompt: prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
Unity
Tính năng chỉnh sửa hình ảnh bằng các mô hình Imagen không được hỗ trợ cho Unity. Hãy kiểm tra lại vào cuối năm nay!
Các phương pháp hay nhất và hạn chế
Bạn nên mở rộng mặt nạ khi chỉnh sửa hình ảnh. Việc này có thể giúp làm mượt
đường viền của nội dung chỉnh sửa và khiến nội dung chỉnh sửa trông thuyết phục hơn. Nói chung, bạn nên sử dụng giá trị mở rộng
là 1% hoặc 2% (0.01 hoặc 0.02).
Gửi ý kiến phản hồi về trải nghiệm của bạn với Firebase AI Logic