إزالة العناصر من الصور باستخدام Imagen


توضّح هذه الصفحة كيفية استخدام ميزة الطلاء الداخلي باستخدام Imagen من أجل إزالة عنصر من صورة باستخدام حِزم تطوير البرامج (SDK) الخاصة بـ Firebase AI Logic.

الرسم الداخلي هو نوع من التعديل المستند إلى القناع. القناع هو طبقة رقمية تحدّد المنطقة المحدّدة التي تريد تعديلها.

طريقة العمل: يمكنك تقديم صورة أصلية وصورة مقنّعة مقابلة، سواء تم إنشاؤها تلقائيًا أو قدّمتها أنت، وتحدّد هذه الصورة قناعًا فوق العنصر أو الموضوع الذي تريد إزالته. يمكنك أيضًا تقديم طلب نصي اختياري يصف ما تريد إزالته، أو يمكن للنموذج أن يرصد بذكاء العنصر الذي تريد إزالته. يزيل النموذج بعد ذلك الكائن ويملأ المساحة بمحتوى جديد مناسب للسياق.

على سبيل المثال، يمكنك إخفاء كرة واستبدالها بجدار فارغ أو حقل عشبي.

الانتقال إلى الرمز البرمجي للقناع الذي تم إنشاؤه تلقائيًا الانتقال إلى الرمز البرمجي لتوفير القناع

قبل البدء

لا تتوفّر هذه الميزة إلا عند استخدام Vertex AI Gemini API كموفّر لواجهة برمجة التطبيقات.

إذا لم يسبق لك إجراء ذلك، أكمل دليل بدء الاستخدام الذي يوضّح كيفية إعداد مشروعك على Firebase وربط تطبيقك بـ Firebase وإضافة حزمة تطوير البرامج (SDK) وتهيئة خدمة الخلفية لمزوّد واجهة برمجة التطبيقات الذي اخترته وإنشاء مثيل ImagenModel.

الطُرز التي تتيح هذه الإمكانية

توفّر Imagen إمكانية تعديل الصور من خلال نموذج capability:

  • imagen-3.0-capability-001

يُرجى العِلم أنّه بالنسبة إلى طُرز Imagen، لا يتوفّر الموقع الجغرافي global .

إزالة العناصر باستخدام قناع تم إنشاؤه تلقائيًا

قبل تجربة هذا النموذج، أكمل قسم قبل البدء في هذا الدليل لإعداد مشروعك وتطبيقك.

يوضّح المثال التالي كيفية استخدام تقنية "الطلاء الداخلي" لإزالة محتوى من صورة، وذلك باستخدام ميزة إنشاء القناع التلقائي. عليك تقديم الصورة الأصلية وطلب نصي، وسيرصد Imagen تلقائيًا منطقة القناع وينشئها لتعديل الصورة الأصلية.

Swift

لا تتوافق لغة Swift مع تعديل الصور باستخدام نماذج Imagen. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

Kotlin

لإزالة الكائنات باستخدام قناع تم إنشاؤه تلقائيًا، حدِّد ImagenBackgroundMask. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.INPAINT_REMOVAL.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // Provide the prompt describing the content to be removed.
    val prompt = "ball"

    // Use the editImage API to remove the unwanted content.
    // Pass the original image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        sources = listOf(
            ImagenRawImage(originalImage),
            ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and insertion.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

لإزالة الكائنات باستخدام قناع تم إنشاؤه تلقائيًا، حدِّد ImagenBackgroundMask. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.INPAINT_REMOVAL.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");

// Provide the prompt describing the content to be removed.
String prompt = "ball";

// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage = new ImagenRawImage(originalImage);
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask();  // Use ImagenBackgroundMask() to auto-generate the mask.

// Define the editing configuration for inpainting and removal.
ImagenEditingConfig config = new ImagenEditingConfig.Builder()
        .setEditMode(ImagenEditMode.INPAINT_REMOVAL)
        .build();

// Use the editImage API to remove the unwanted content.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config), new FutureCallback<ImagenGenerationResponse>() {
    @Override
    public void onSuccess(ImagenGenerationResponse result) {
        if (result.getImages().isEmpty()) {
            Log.d("ImageEditor", "No images generated");
        }
        Bitmap editedImage = result.getImages().get(0).asBitmap();
        // Process and use the bitmap to display the image in your UI
    }

    @Override
    public void onFailure(Throwable t) {
        // ...
    }
}, Executors.newSingleThreadExecutor());

Web

لا يمكن تعديل الصور باستخدام نماذج Imagen في تطبيقات الويب. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

Dart

لإزالة الكائنات باستخدام قناع تم إنشاؤه تلقائيًا، حدِّد ImagenBackgroundMask. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.inpaintRemoval.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

TODO - FLUTTER// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// Provide the prompt describing the content to be removed.
final prompt = 'ball';

try {
  // Use the editImage API to remove the unwanted content.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenBackgroundMask(),  // Use ImagenBackgroundMask() to auto-generate the mask.
    ],
    prompt,
    // Define the editing configuration for inpainting and removal.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintRemoval,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

Unity

لا تتوافق نماذج Imagen مع Unity عند تعديل الصور. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

إزالة العناصر باستخدام قناع متوفّر

قبل تجربة هذا النموذج، أكمل قسم قبل البدء في هذا الدليل لإعداد مشروعك وتطبيقك.

يوضّح المثال التالي كيفية استخدام ميزة "الرسم الداخلي" لإزالة محتوى من صورة باستخدام قناع محدّد في صورة تقدّمها. يجب تقديم الصورة الأصلية وطلب نصي والصورة التي تم إخفاء أجزاء منها.

يُعدّ تقديم طلب نصي أمرًا اختياريًا إذا قدّمت صورة مخفية. يمكن لـ "Imagen" أن يرصد بذكاء عنصرًا لإزالته من المنطقة المخفية. ومع ذلك، إذا لم يكن العنصر الذي تريد إزالته واضحًا أو إذا كنت تريد إزالة عناصر معيّنة فقط في المنطقة المخفية، يمكنك تقديم طلب نصي لمساعدة النموذج في إزالة العنصر الصحيح.

Swift

لا تتوافق لغة Swift مع تعديل الصور باستخدام نماذج Imagen. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

Kotlin

لإزالة عناصر وتقديم صورتك الخاصة التي تم إخفاء أجزاء منها، حدِّد ImagenRawMask مع الصورة التي تم إخفاء أجزاء منها. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.INPAINT_REMOVAL.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
    // In a real app, this might come from the user's device or a URL.
    val maskImage: Bitmap = TODO("Load your masked image Bitmap here")

    // Provide the prompt describing the content to be removed.
    val prompt = "ball"

    // Use the editImage API to remove the unwanted content.
    // Pass the original image, the masked image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(
            ImagenRawImage(originalImage.toImagenInlineImage()),
            ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and removal.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_REMOVAL)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

لإزالة عناصر وتقديم صورتك الخاصة التي تم إخفاء أجزاء منها، حدِّد ImagenRawMask مع الصورة التي تم إخفاء أجزاء منها. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.INPAINT_REMOVAL.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");

// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");

// Provide the prompt describing the content to be removed.
String prompt = "ball";

// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage = new ImagenRawImage(originalImage);
ImagenBackgroundMask rawMaskedImage = new ImagenRawMask(maskImage); // Use ImagenRawMask() to provide your own masked image.

// Define the editing configuration for inpainting and removal.
ImagenEditingConfig config = new ImagenEditingConfig.Builder()
        .setEditMode(ImagenEditMode.INPAINT_REMOVAL)
        .build();

// Use the editImage API to remove the unwanted content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config), new FutureCallback<ImagenGenerationResponse>() {
    @Override
    public void onSuccess(ImagenGenerationResponse result) {
        if (result.getImages().isEmpty()) {
            Log.d("ImageEditor", "No images generated");
        }
        Bitmap editedImage = result.getImages().get(0).asBitmap();
        // Process and use the bitmap to display the image in your UI
    }

    @Override
    public void onFailure(Throwable t) {
        // ...
    }
}, Executors.newSingleThreadExecutor());

Web

لا يمكن تعديل الصور باستخدام نماذج Imagen في تطبيقات الويب. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

Dart

لإزالة عناصر وتقديم صورتك الخاصة التي تم إخفاء أجزاء منها، حدِّد ImagenRawMask مع الصورة التي تم إخفاء أجزاء منها. استخدِم editImage() واضبط إعدادات التعديل لاستخدام ImagenEditMode.inpaintRemoval.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.

// Provide the prompt describing the content to be removed.
final prompt = 'ball';

try {
  // Use the editImage API to remove the unwanted content.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
    ],
    prompt: prompt,
    // Define the editing configuration for inpainting and removal.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintRemoval,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

Unity

لا تتوافق نماذج Imagen مع Unity عند تعديل الصور. يُرجى التحقّق مجددًا في وقت لاحق من هذا العام.

أفضل الممارسات والقيود

ننصحك بتوسيع القناع عند تعديل صورة. يمكن أن يساعد ذلك في تنعيم حواف التعديل وجعلها تبدو أكثر إقناعًا. بشكل عام، ننصح بقيمة تمدّد تبلغ% 1 أو% 2 (0.01 أو 0.02).


تقديم ملاحظات حول تجربتك مع Firebase AI Logic