Bu sayfada, Imagen kullanarak inpainting'in nasıl kullanılacağı açıklanmaktadır. Bu yöntemle, Firebase AI Logic SDK'larını kullanarak bir resimden nesne kaldırabilirsiniz.
İçine boyama, bir tür maske tabanlı düzenlemedir. Maske, düzenlemek istediğiniz belirli alanı tanımlayan dijital bir kaplamadır.
İşleyiş şekli: Orijinal bir resim ve karşılık gelen maskeli bir resim sağlarsınız. Bu resim, otomatik olarak oluşturulmuş veya sizin tarafınızdan sağlanmış olabilir. Kaldırmak istediğiniz nesnenin veya öznenin üzerinde bir maske tanımlar. Kaldırmak istediğiniz öğeyi açıklayan bir metin istemi de isteğe bağlı olarak sağlayabilirsiniz. Alternatif olarak, model hangi nesnenin kaldırılacağını akıllıca algılayabilir. Ardından model, nesneyi kaldırır ve alanı bağlama uygun yeni içerikle doldurur.
Örneğin, bir topu maskeleyip boş bir duvar veya çimenli bir alanla değiştirebilirsiniz.
Otomatik olarak oluşturulan maskenin koduna git Maskeyi sağlama koduna git
Başlamadan önce
Yalnızca Vertex AI Gemini API API sağlayıcısı olarak kullanılırken kullanılabilir. |
Henüz yapmadıysanız başlangıç kılavuzunu tamamlayın. Bu kılavuzda Firebase projenizi ayarlama, uygulamanızı Firebase'e bağlama, SDK'yı ekleme, seçtiğiniz API sağlayıcısı için arka uç hizmetini başlatma ve ImagenModel
örneği oluşturma hakkında bilgiler yer alır.
Bu özelliği destekleyen modeller
Imagen, capability
modeli aracılığıyla görüntü düzenleme hizmeti sunar:
imagen-3.0-capability-001
Imagen modellerinde global
konumunun desteklenmediğini unutmayın.
Otomatik olarak oluşturulan maskeyi kullanarak nesneleri kaldırma
Bu örneği denemeden önce projenizi ve uygulamanızı ayarlamak için bu kılavuzun Başlamadan önce bölümünü tamamlayın. |
Aşağıdaki örnekte, otomatik maske oluşturma kullanılarak bir resimden içerik kaldırmak için nasıl doldurma yapılacağı gösterilmektedir. Orijinal resmi ve bir metin istemi sağladığınızda Imagen, orijinal resmi değiştirmek için otomatik olarak algılama yapar ve bir maske alanı oluşturur.
Swift
Imagen modelleriyle görüntü düzenleme, Swift'te desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
Kotlin
Otomatik olarak oluşturulan maskeyle nesneleri kaldırmak için ImagenBackgroundMask
değerini belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.INPAINT_REMOVAL
olarak ayarlayın.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
val editedImage = model.editImage(
sources = listOf(
ImagenRawImage(originalImage),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
),
prompt = prompt,
// Define the editing configuration for inpainting and insertion.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
Otomatik olarak oluşturulan maskeyle nesneleri kaldırmak için ImagenBackgroundMask
değerini belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.INPAINT_REMOVAL
olarak ayarlayın.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage = new ImagenRawImage(originalImage);
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask(); // Use ImagenBackgroundMask() to auto-generate the mask.
// Define the editing configuration for inpainting and removal.
ImagenEditingConfig config = new ImagenEditingConfig.Builder()
.setEditMode(ImagenEditMode.INPAINT_REMOVAL)
.build();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config), new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = result.getImages().get(0).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
Imagen modelleriyle resim düzenleme, web uygulamalarında desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
Dart
Otomatik olarak oluşturulan maskeyle nesneleri kaldırmak için ImagenBackgroundMask
değerini belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.inpaintRemoval
olarak ayarlayın.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
TODO - FLUTTER// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
],
prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
Unity
Imagen modelleriyle resim düzenleme, Unity'de desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
Sağlanan maskeyi kullanarak nesneleri kaldırma
Bu örneği denemeden önce projenizi ve uygulamanızı ayarlamak için bu kılavuzun Başlamadan önce bölümünü tamamlayın. |
Aşağıdaki örnekte, sağladığınız bir resimde tanımlanan maskeyi kullanarak bir resimden içeriği kaldırmak için nasıl doldurma işleminin kullanılacağı gösterilmektedir. Orijinal resmi, metin istemini ve maskelenmiş resmi sağlarsınız.
Maskelenmiş bir resim sağlıyorsanız metin istemi sağlamanız isteğe bağlıdır. Imagen, maskelenmiş alandan kaldırılacak bir nesneyi akıllıca algılayabilir. Ancak, kaldırmak istediğiniz nesne belirgin değilse veya yalnızca maskelenmiş alandaki belirli nesneleri kaldırmak istiyorsanız modele doğru nesneyi kaldırmasına yardımcı olacak bir metin istemi girin.
Swift
Imagen modelleriyle görüntü düzenleme, Swift'te desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
Kotlin
Nesneleri kaldırmak ve kendi maskelenmiş resminizi sağlamak için maskelenmiş resmi kullanarak ImagenRawMask
belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.INPAINT_REMOVAL
olarak ayarlayın.
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val originalImage: Bitmap = TODO("Load your original image Bitmap here")
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
val maskImage: Bitmap = TODO("Load your masked image Bitmap here")
// Provide the prompt describing the content to be removed.
val prompt = "ball"
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(
ImagenRawImage(originalImage.toImagenInlineImage()),
ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
),
prompt = prompt,
// Define the editing configuration for inpainting and removal.
config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
)
// Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}
Java
Nesneleri kaldırmak ve kendi maskelenmiş resminizi sağlamak için maskelenmiş resmi kullanarak ImagenRawMask
belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.INPAINT_REMOVAL
olarak ayarlayın.
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");
// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");
// Provide the prompt describing the content to be removed.
String prompt = "ball";
// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage = new ImagenRawImage(originalImage);
ImagenBackgroundMask rawMaskedImage = new ImagenRawMask(maskImage); // Use ImagenRawMask() to provide your own masked image.
// Define the editing configuration for inpainting and removal.
ImagenEditingConfig config = new ImagenEditingConfig.Builder()
.setEditMode(ImagenEditMode.INPAINT_REMOVAL)
.build();
// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config), new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("ImageEditor", "No images generated");
}
Bitmap editedImage = result.getImages().get(0).asBitmap();
// Process and use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
Imagen modelleriyle resim düzenleme, web uygulamalarında desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
Dart
Nesneleri kaldırmak ve kendi maskelenmiş resminizi sağlamak için maskelenmiş resmi kullanarak ImagenRawMask
belirtin. editImage()
öğesini kullanın
ve düzenleme yapılandırmasını ImagenEditMode.inpaintRemoval
olarak ayarlayın.
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.
// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.
// Provide the prompt describing the content to be removed.
final prompt = 'ball';
try {
// Use the editImage API to remove the unwanted content.
// Pass the original image, the prompt, and an editing configuration.
final response = await model.editImage(
sources: [
ImagenRawImage(originalImage),
ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
],
prompt: prompt,
// Define the editing configuration for inpainting and removal.
config: const ImagenEditingConfig(
editMode: ImagenEditMode.inpaintRemoval,
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
Unity
Imagen modelleriyle resim düzenleme, Unity'de desteklenmez. Bu yılın ilerleyen zamanlarında tekrar kontrol edin.
En iyi uygulamalar ve sınırlamalar
Resim düzenlerken maskeyi genişletmenizi öneririz. Bu özellik, düzenlemenin kenarlarını yumuşatmaya ve daha inandırıcı görünmesini sağlamaya yardımcı olabilir. Genellikle% 1 veya% 2 oranında bir genişleme değeri önerilir (0.01
veya 0.02
).
Firebase AI Logic ile ilgili deneyiminiz hakkında geri bildirim verme