این صفحه نحوه استفاده از inpainting با استفاده از Imagen برای حذف یک شیء از تصویر با استفاده از Firebase AI Logic SDKs را شرح میدهد.
Inpainting نوعی ویرایش مبتنی بر ماسک است. ماسک یک لایه دیجیتالی است که ناحیه خاصی را که میخواهید ویرایش کنید، مشخص میکند.
نحوه کار : شما یک تصویر اصلی و یک تصویر ماسکشده مربوطه - چه به صورت خودکار تولید شده باشد و چه توسط شما ارائه شده باشد - ارائه میدهید که ماسکی را روی شیء یا موضوعی که میخواهید حذف کنید، تعریف میکند. همچنین میتوانید به صورت اختیاری یک متن راهنما ارائه دهید که آنچه را که میخواهید حذف کنید، شرح دهد، یا مدل میتواند به طور هوشمند تشخیص دهد کدام شیء را باید حذف کند. سپس مدل شیء را حذف کرده و ناحیه را با محتوای جدید و متناسب با متن پر میکند.
برای مثال، میتوانید یک توپ را بپوشانید و آن را با یک دیوار خالی یا یک زمین چمن جایگزین کنید.
پرش به کد مربوط به ماسک تولید شده خودکار پرش به کد مربوط به ارائه ماسک
قبل از اینکه شروع کنی
| فقط زمانی در دسترس است که از Vertex AI Gemini API به عنوان ارائه دهنده API خود استفاده کنید. |
اگر هنوز این کار را نکردهاید، راهنمای شروع به کار را تکمیل کنید، که نحوه راهاندازی پروژه Firebase، اتصال برنامه به Firebase، افزودن SDK، راهاندازی سرویس backend برای ارائهدهنده API انتخابی شما و ایجاد یک نمونه ImagenModel را شرح میدهد.
مدلهایی که از این قابلیت پشتیبانی میکنند
ایمیجِن ویرایش تصویر را از طریق مدل capability خود ارائه میدهد:
-
imagen-3.0-capability-001
توجه داشته باشید که برای مدلهای Imagen ، موقعیت مکانی global پشتیبانی نمیشود .
حذف اشیاء با استفاده از ماسک تولید شده خودکار
| قبل از امتحان کردن این نمونه، بخش «قبل از شروع» این راهنما را برای راهاندازی پروژه و برنامه خود تکمیل کنید. |
نمونه زیر نحوه استفاده از inpainting برای حذف محتوا از یک تصویر را نشان میدهد - با استفاده از تولید خودکار ماسک. شما تصویر اصلی و یک متن را ارائه میدهید و Imagen به طور خودکار یک ناحیه ماسک برای تغییر تصویر اصلی شناسایی و ایجاد میکند.
سویفت
ویرایش تصویر با مدلهای Imagen برای Swift پشتیبانی نمیشود. اواخر امسال دوباره بررسی کنید!
Kotlin
برای حذف اشیاء با ماسکی که به صورت خودکار ایجاد شده است، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_REMOVAL تنظیم کنید.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(
ImagenRawImage(originalImage.toImagenInlineImage()),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
),
prompt = prompt,
// Define the editing configuration for inpainting and insertion.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
برای حذف اشیاء با ماسکی که به صورت خودکار ایجاد شده است، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_REMOVAL تنظیم کنید.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage =
new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenBackgroundMask() to auto-generate the mask.
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask();
ImagenEditingConfig config = new ImagenEditingConfig();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
ویرایش تصویر با مدلهای Imagen برای برنامههای وب پشتیبانی نمیشود. اواخر امسال دوباره بررسی کنید!
Dart
برای حذف اشیاء با ماسکی که به صورت خودکار ایجاد شده است، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.inpaintRemoval تنظیم کنید.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
TODO - FLUTTER// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
],
prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
وحدت
ویرایش تصویر با مدلهای Imagen برای Unity پشتیبانی نمیشود. بعداً امسال دوباره بررسی کنید!
اشیاء را با استفاده از ماسک ارائه شده حذف کنید
| قبل از امتحان کردن این نمونه، بخش «قبل از شروع» این راهنما را برای راهاندازی پروژه و برنامه خود تکمیل کنید. |
نمونه زیر نحوه استفاده از inpainting برای حذف محتوا از یک تصویر را نشان میدهد - با استفاده از یک ماسک تعریف شده در تصویری که شما ارائه میدهید. شما تصویر اصلی، یک متن و تصویر ماسک شده را ارائه میدهید.
اگر تصویر ماسکشده ارائه میدهید، ارائه یک پیام متنی اختیاری است. Imagen میتواند به طور هوشمند یک شیء را برای حذف از ناحیه ماسکشده تشخیص دهد. با این حال، اگر شیء مورد نظر برای حذف واضح نیست یا فقط میخواهید اشیاء خاصی را در ناحیه ماسکشده حذف کنید، یک پیام متنی ارائه دهید تا به مدل کمک کند شیء صحیح را حذف کند.
سویفت
ویرایش تصویر با مدلهای Imagen برای Swift پشتیبانی نمیشود. اواخر امسال دوباره بررسی کنید!
Kotlin
برای حذف اشیاء و ارائه تصویر ماسکشده خودتان، ImagenRawMask با تصویر ماسکشده مشخص کنید. editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_REMOVAL تنظیم کنید.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
val maskImage: Bitmap = TODO("Load your masked image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(
ImagenRawImage(originalImage.toImagenInlineImage()),
ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
),
prompt = prompt,
// Define the editing configuration for inpainting and removal.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
برای حذف اشیاء و ارائه تصویر ماسکشده خودتان، ImagenRawMask با تصویر ماسکشده مشخص کنید. editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_REMOVAL تنظیم کنید.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage =
new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenRawMask() to provide your own masked image.
ImagenBackgroundMask rawMaskedImage =
new ImagenRawMask(ImagenInlineImageKt.toImagenInlineImage(maskImage));
ImagenEditingConfig config = new ImagenEditingConfig();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
ویرایش تصویر با مدلهای Imagen برای برنامههای وب پشتیبانی نمیشود. اواخر امسال دوباره بررسی کنید!
Dart
برای حذف اشیاء و ارائه تصویر ماسکشده خودتان، ImagenRawMask با تصویر ماسکشده مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.inpaintRemoval تنظیم کنید.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
],
prompt: prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
وحدت
ویرایش تصویر با مدلهای Imagen برای Unity پشتیبانی نمیشود. بعداً امسال دوباره بررسی کنید!
بهترین شیوهها و محدودیتها
توصیه میکنیم هنگام ویرایش تصویر، ماسک را گشاد کنید. این کار میتواند به صاف کردن مرزهای ویرایش کمک کند و آن را قانعکنندهتر جلوه دهد. بهطورکلی، مقدار گشادی ۱٪ یا ۲٪ ( 0.01 یا 0.02 ) توصیه میشود.
درباره تجربه خود با Firebase AI Logic بازخورد دهید