با استفاده از Imagen اشیاء را در تصاویر قرار دهید


این صفحه نحوه استفاده از inpainting با استفاده از Imagen برای درج یک شیء در تصویر با استفاده از Firebase AI Logic SDKs را شرح می‌دهد.

Inpainting نوعی ویرایش مبتنی بر ماسک است. ماسک یک لایه دیجیتالی است که ناحیه خاصی را که می‌خواهید ویرایش کنید، مشخص می‌کند.

نحوه کار : شما یک تصویر اصلی و یک تصویر ماسک‌شده‌ی مربوطه - که یا به صورت خودکار تولید شده یا توسط شما ارائه شده است - ارائه می‌دهید که یک ماسک را روی ناحیه‌ای که می‌خواهید محتوای جدید اضافه کنید، تعریف می‌کند. همچنین یک متن راهنما ارائه می‌دهید که آنچه را که می‌خواهید اضافه کنید، توصیف می‌کند. سپس مدل محتوای جدید را در ناحیه ماسک‌شده تولید و اضافه می‌کند.

برای مثال، می‌توانید یک میز را ماسک کنید و از مدل بخواهید گلدانی از گل‌ها را به آن اضافه کند.

پرش به کد مربوط به ماسک تولید شده خودکار پرش به کد مربوط به ارائه ماسک

قبل از اینکه شروع کنی

فقط زمانی در دسترس است که از Vertex AI Gemini API به عنوان ارائه دهنده API خود استفاده کنید.

اگر هنوز این کار را نکرده‌اید، راهنمای شروع به کار را تکمیل کنید، که نحوه راه‌اندازی پروژه Firebase، اتصال برنامه به Firebase، افزودن SDK، راه‌اندازی سرویس backend برای ارائه‌دهنده API انتخابی شما و ایجاد یک نمونه ImagenModel را شرح می‌دهد.

مدل‌هایی که از این قابلیت پشتیبانی می‌کنند

ایمیجِن ویرایش تصویر را از طریق مدل capability خود ارائه می‌دهد:

  • imagen-3.0-capability-001

توجه داشته باشید که برای مدل‌های Imagen ، موقعیت مکانی global پشتیبانی نمی‌شود .

اشیاء را با استفاده از یک ماسک تولید شده خودکار وارد کنید

قبل از امتحان کردن این نمونه، بخش «قبل از شروع» این راهنما را برای راه‌اندازی پروژه و برنامه خود تکمیل کنید.

نمونه زیر نحوه استفاده از inpainting برای درج محتوا در یک تصویر را نشان می‌دهد - با استفاده از تولید خودکار ماسک. شما تصویر اصلی و یک متن را ارائه می‌دهید و Imagen به طور خودکار یک ناحیه ماسک برای تغییر تصویر اصلی شناسایی و ایجاد می‌کند.

سویفت

ویرایش تصویر با مدل‌های Imagen برای Swift پشتیبانی نمی‌شود. اواخر امسال دوباره بررسی کنید!

Kotlin

برای درج اشیاء با ماسکی که به صورت خودکار ایجاد می‌شود، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_INSERTION تنظیم کنید.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // Provide the prompt describing the content to be inserted.
    val prompt = "a vase of flowers on the table"

    // Use the editImage API to insert the new content.
    // Pass the original image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(
            ImagenRawImage(originalImage.toImagenInlineImage()),
            ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and insertion.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_INSERTION)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

برای درج اشیاء با ماسکی که به صورت خودکار ایجاد می‌شود، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_INSERTION تنظیم کنید.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");

// Provide the prompt describing the content to be inserted.
String prompt = "a vase of flowers on the table";

// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage =
    new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenBackgroundMask() to auto-generate the mask.
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask();

ImagenEditingConfig config = new ImagenEditingConfig();

// Use the editImage API to insert the new content.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
    new FutureCallback<ImagenGenerationResponse>() {
        @Override
        public void onSuccess(ImagenGenerationResponse result) {
            if (result.getImages().isEmpty()) {
                Log.d("ImageEditor", "No images generated");
            }
            Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
            // Process and use the bitmap to display the image in your UI
        }

        @Override
        public void onFailure(Throwable t) {
            // ...
        }
    }, Executors.newSingleThreadExecutor());

Web

ویرایش تصویر با مدل‌های Imagen برای برنامه‌های وب پشتیبانی نمی‌شود. اواخر امسال دوباره بررسی کنید!

Dart

برای درج اشیاء با ماسکی که به صورت خودکار ایجاد می‌شود، ImagenBackgroundMask مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.inpaintInsertion تنظیم کنید.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// Provide the prompt describing the content to be inserted.
final prompt = 'a vase of flowers on the table';

try {
  // Use the editImage API to insert the new content.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
    ],
    prompt: prompt,
    // Define the editing configuration for inpainting and insertion.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintInsertion,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

وحدت

ویرایش تصویر با مدل‌های Imagen برای Unity پشتیبانی نمی‌شود. بعداً امسال دوباره بررسی کنید!

اشیاء را با استفاده از ماسک ارائه شده وارد کنید

قبل از امتحان کردن این نمونه، بخش «قبل از شروع» این راهنما را برای راه‌اندازی پروژه و برنامه خود تکمیل کنید.

نمونه زیر نحوه استفاده از inpainting برای درج محتوا در یک تصویر را نشان می‌دهد - با استفاده از یک ماسک تعریف شده در تصویری که شما ارائه می‌دهید. شما تصویر اصلی، یک متن سریع و تصویر ماسک شده را ارائه می‌دهید.

سویفت

ویرایش تصویر با مدل‌های Imagen برای Swift پشتیبانی نمی‌شود. اواخر امسال دوباره بررسی کنید!

Kotlin

برای درج اشیاء و ارائه تصویر ماسک‌شده خودتان، ImagenRawMask به همراه تصویر ماسک‌شده مشخص کنید. editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_INSERTION تنظیم کنید.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
    // In a real app, this might come from the user's device or a URL.
    val maskImage: Bitmap = TODO("Load your masked image Bitmap here")

    // Provide the prompt describing the content to be inserted.
    val prompt = "a vase of flowers on the table"

    // Use the editImage API to insert the new content.
    // Pass the original image, the masked image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(
            ImagenRawImage(originalImage.toImagenInlineImage()),
            ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and insertion.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_INSERTION)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

برای درج اشیاء و ارائه تصویر ماسک‌شده خودتان، ImagenRawMask به همراه تصویر ماسک‌شده مشخص کنید. editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.INPAINT_INSERTION تنظیم کنید.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");

// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");

// Provide the prompt describing the content to be inserted.
String prompt = "a vase of flowers on the table";

// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage =
    new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenRawMask() to provide your own masked image.
ImagenBackgroundMask rawMaskedImage =
    new ImagenRawMask(ImagenInlineImageKt.toImagenInlineImage(maskImage));

ImagenEditingConfig config = new ImagenEditingConfig();

// Use the editImage API to insert the new content.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config), new FutureCallback<ImagenGenerationResponse>() {
    @Override
    public void onSuccess(ImagenGenerationResponse result) {
        if (result.getImages().isEmpty()) {
            Log.d("ImageEditor", "No images generated");
        }
        Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
        // Process and use the bitmap to display the image in your UI
    }

    @Override
    public void onFailure(Throwable t) {
        // ...
    }
}, Executors.newSingleThreadExecutor());

Web

ویرایش تصویر با مدل‌های Imagen برای برنامه‌های وب پشتیبانی نمی‌شود. اواخر امسال دوباره بررسی کنید!

Dart

برای درج اشیاء و ارائه تصویر ماسک‌شده خودتان، ImagenRawMask با تصویر ماسک‌شده مشخص کنید. از editImage() استفاده کنید و پیکربندی ویرایش را روی ImagenEditMode.inpaintInsertion تنظیم کنید.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.

// Provide the prompt describing the content to be inserted.
final prompt = 'a vase of flowers on the table';

try {
  // Use the editImage API to insert the new content.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
    ],
    prompt: prompt,
    // Define the editing configuration for inpainting and insertion.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintInsertion,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

وحدت

ویرایش تصویر با مدل‌های Imagen برای Unity پشتیبانی نمی‌شود. بعداً امسال دوباره بررسی کنید!

بهترین شیوه‌ها و محدودیت‌ها

توصیه می‌کنیم هنگام ویرایش تصویر، ماسک را گشاد کنید. این کار می‌تواند به صاف کردن مرزهای ویرایش کمک کند و آن را قانع‌کننده‌تر جلوه دهد. به‌طورکلی، مقدار گشادی ۱٪ یا ۲٪ ( 0.01 یا 0.02 ) توصیه می‌شود.


درباره تجربه خود با Firebase AI Logic بازخورد دهید