Imagen का इस्तेमाल करके, किसी इमेज का बैकग्राउंड बदलना


इस पेज पर, Imagen का इस्तेमाल करके, किसी इमेज का बैकग्राउंड बदलने के लिए, Firebase AI Logic SDK टूल का इस्तेमाल करने का तरीका बताया गया है.

बैकग्राउंड बदलना, मास्क पर आधारित बदलाव का एक टाइप है. खास तौर पर, यह इनपेंटिंग है. मास्क, एक डिजिटल ओवरले होता है. इससे, वह खास जगह तय होती है जिसमें आपको बदलाव करना है.

यह कैसे काम करता है: आपको एक ओरिजनल इमेज और उससे जुड़ी मास्क की गई इमेज उपलब्ध करानी होती है. इससे, बैकग्राउंड पर मास्क तय होता है. इसके लिए, बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल किया जा सकता है या बैकग्राउंड का मास्क खुद उपलब्ध कराया जा सकता है. आपको एक टेक्स्ट प्रॉम्प्ट भी उपलब्ध कराना होता है, जिसमें बताया गया हो कि आपको क्या बदलाव करने हैं. इसके बाद, मॉडल एक नया बैकग्राउंड जनरेट करता है और उसे लागू करता है.

उदाहरण के लिए, फ़ोरग्राउंड (जैसे, किसी प्रॉडक्ट की इमेज) पर असर डाले बिना, किसी विषय या ऑब्जेक्ट के आस-पास की सेटिंग बदली जा सकती है.

अपने-आप पता लगाए गए बैकग्राउंड के लिए कोड पर जाएं बैकग्राउंड मास्क उपलब्ध कराने के लिए कोड पर जाएं

शुरू करने से पहले

यह सुविधा, सिर्फ़ तब उपलब्ध होती है, जब Vertex AI Gemini API को अपने एपीआई प्रोवाइडर के तौर पर इस्तेमाल किया जा रहा हो.

अगर आपने अब तक, शुरू करने के लिए गाइड को पूरा नहीं किया है, तो इसे पूरा करें. इसमें, Firebase प्रोजेक्ट सेट अप करने, अपने ऐप्लिकेशन को Firebase से कनेक्ट करने, SDK टूल जोड़ने, चुने गए एपीआई प्रोवाइडर के लिए बैकएंड सेवा शुरू करने, और ImagenModel इंस्टेंस बनाने का तरीका बताया गया है.

इस सुविधा के साथ काम करने वाले मॉडल

Imagen अपने capability मॉडल के ज़रिए इमेज में बदलाव करने की सुविधा देता है:

  • imagen-3.0-capability-001

ध्यान दें कि Imagen मॉडल के लिए, global जगह काम नहीं करती है.

बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल करके, बैकग्राउंड बदलना

इस सैंपल को आज़माने से पहले, अपने प्रोजेक्ट और ऐप्लिकेशन को सेट अप करने के लिए, इस गाइड का शुरू करने से पहले सेक्शन पूरा करें.

यहां दिए गए सैंपल में, बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल करके, किसी इमेज का बैकग्राउंड बदलने का तरीका दिखाया गया है. आपको ओरिजनल इमेज और एक टेक्स्ट प्रॉम्प्ट उपलब्ध कराना होता है. इसके बाद, Imagen ओरिजनल इमेज में बदलाव करने के लिए, बैकग्राउंड का पता अपने-आप लगाता है और उसका मास्क बनाता है.

Swift

Swift के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

Kotlin

बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, ImagenBackgroundMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.INPAINT_INSERTION पर सेट करें.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // Provide the prompt describing the new background.
    val prompt = "space background"

    // Use the editImage API to replace the background.
    // Pass the original image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(
            ImagenRawImage(originalImage.toImagenInlineImage()),
            ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and background replacement.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_INSERTION)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, ImagenBackgroundMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.INPAINT_INSERTION पर सेट करें.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your image Bitmap here");

// Provide the prompt describing the new background.
String prompt = "space background";

// Define the list of sources for the editImage call.
// This includes the original image and the auto-generated mask.
ImagenRawImage rawOriginalImage =
    new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenBackgroundMask() to auto-generate the mask.
ImagenBackgroundMask rawMaskedImage = new ImagenBackgroundMask();

ImagenEditingConfig config = new ImagenEditingConfig();

// Use the editImage API to replace the background.
// Pass the original image, the auto-generated masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
    new FutureCallback<ImagenGenerationResponse>() {
        @Override
        public void onSuccess(ImagenGenerationResponse result) {
            if (result.getImages().isEmpty()) {
                Log.d("ImageEditor", "No images generated");
            }
            Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
            // Process and use the bitmap to display the image in your UI
        }

        @Override
        public void onFailure(Throwable t) {
            // ...
        }
    }, Executors.newSingleThreadExecutor());

Web

वेब ऐप्लिकेशन के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

Dart

बैकग्राउंड का पता अपने-आप लगाने की सुविधा का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, ImagenBackgroundMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.inpaintInsertion पर सेट करें.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// Provide the prompt describing the new background.
final prompt = 'space background';

try {
  // Use the editImage API to replace the background.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenBackgroundMask(), // Use ImagenBackgroundMask() to auto-generate the mask.
    ],
    prompt: prompt,
    // Define the editing configuration for inpainting and background replacement.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintInsertion,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

Unity

Unity के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

उपलब्ध कराए गए मास्क का इस्तेमाल करके, बैकग्राउंड बदलना

इस सैंपल को आज़माने से पहले, अपने प्रोजेक्ट और ऐप्लिकेशन को सेट अप करने के लिए, इस गाइड का शुरू करने से पहले सेक्शन पूरा करें.

यहां दिए गए सैंपल में, उपलब्ध कराई गई इमेज में तय किए गए बैकग्राउंड मास्क का इस्तेमाल करके, किसी इमेज का बैकग्राउंड बदलने का तरीका दिखाया गया है. आपको ओरिजनल इमेज, एक टेक्स्ट प्रॉम्प्ट, और मास्क की गई इमेज उपलब्ध करानी होती है.

Swift

Swift के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

Kotlin

उपलब्ध कराए गए मास्क का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, मास्क की गई इमेज के साथ ImagenRawMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.INPAINT_INSERTION पर सेट करें.

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'originalImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val originalImage: Bitmap = TODO("Load your original image Bitmap here")

    // This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
    // In a real app, this might come from the user's device or a URL.
    val maskImage: Bitmap = TODO("Load your masked image Bitmap here")

    // Provide the prompt describing the new background.
    val prompt = "space background"

    // Use the editImage API to replace the background.
    // Pass the original image, the masked image, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(
            ImagenRawImage(originalImage.toImagenInlineImage()),
            ImagenRawMask(maskImage.toImagenInlineImage()), // Use ImagenRawMask() to provide your own masked image.
        ),
        prompt = prompt,
        // Define the editing configuration for inpainting and background replacement.
        config = ImagenEditingConfig(ImagenEditMode.INPAINT_INSERTION)
    )

    // Process the resulting 'editedImage' Bitmap, for example, by displaying it in an ImageView.
}

Java

उपलब्ध कराए गए मास्क का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, मास्क की गई इमेज के साथ ImagenRawMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.INPAINT_INSERTION पर सेट करें.

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'originalImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap originalImage = null; // TODO("Load your original image Bitmap here");

// This example assumes 'maskImage' is a pre-loaded Bitmap that contains the masked area.
// In a real app, this might come from the user's device or a URL.
Bitmap maskImage = null; // TODO("Load your masked image Bitmap here");

// Provide the prompt describing the new background.
String prompt = "space background";

// Define the list of source images for the editImage call.
ImagenRawImage rawOriginalImage =
    new ImagenRawImage(ImagenInlineImageKt.toImagenInlineImage(originalImage));
// Use ImagenRawMask() to provide your own masked image.
ImagenBackgroundMask rawMaskedImage =
    new ImagenRawMask(ImagenInlineImageKt.toImagenInlineImage(maskImage));

ImagenEditingConfig config = new ImagenEditingConfig();

// Use the editImage API to replace the background.
// Pass the original image, the masked image, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Arrays.asList(rawOriginalImage, rawMaskedImage), prompt, config),
    new FutureCallback<ImagenGenerationResponse>() {
        @Override
        public void onSuccess(ImagenGenerationResponse result) {
            if (result.getImages().isEmpty()) {
                Log.d("ImageEditor", "No images generated");
            }
            Bitmap editedImage = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
            // Process and use the bitmap to display the image in your UI
        }

        @Override
        public void onFailure(Throwable t) {
            // ...
        }
    }, Executors.newSingleThreadExecutor());

Web

वेब ऐप्लिकेशन के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

Dart

उपलब्ध कराए गए मास्क का इस्तेमाल करके, बैकग्राउंड बदलने के लिए, मास्क की गई इमेज के साथ ImagenRawMask तय करें. editImage() का इस्तेमाल करें और बदलाव करने की सेटिंग को ImagenEditMode.INPAINT_INSERTION पर सेट करें.

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'originalImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List originalImage = Uint8List(0); // TODO: Load your original image data here.

// This example assumes 'maskImage' is a pre-loaded Uint8List that contains the masked area.
// In a real app, this might come from the user's device or a URL.
final Uint8List maskImage = Uint8List(0); // TODO: Load your masked image data here.

// Provide the prompt describing the new background.
final prompt = 'space background';

try {
  // Use the editImage API to replace the background.
  // Pass the original image, the prompt, and an editing configuration.
  final response = await model.editImage(
    sources: [
      ImagenRawImage(originalImage),
      ImagenRawMask(maskImage), // Use ImagenRawMask() to provide your own masked image.
    ],
    prompt: prompt,
    // Define the editing configuration for inpainting and background replacement.
    config: const ImagenEditingConfig(
      editMode: ImagenEditMode.inpaintInsertion,
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

Unity

Unity के लिए, Imagen मॉडल की मदद से इमेज में बदलाव करने की सुविधा उपलब्ध नहीं है. इस साल के आखिर में, फिर से देखें!

सबसे सही तरीके और सीमाएं

हमारा सुझाव है कि इमेज में बदलाव करते समय, मास्क को डाइलट करें. इससे, बदलाव की सीमाओं को स्मूद किया जा सकता है और बदलाव को ज़्यादा भरोसेमंद बनाया जा सकता है. आम तौर पर, डाइलट करने की वैल्यू 1% या 2% रखने का सुझाव दिया जाता है (0.01 या 0.02).


सुझाव/राय देना या शिकायत करना के बारे में अपने अनुभव के साथ Firebase AI Logic