Imagen ব্যবহার করে একটি নির্দিষ্ট বিষয়ের উপর ভিত্তি করে ছবি কাস্টমাইজ করুন


এই পৃষ্ঠাটি বর্ণনা করে যে কীভাবে Firebase AI Logic SDK ব্যবহার করে একটি নির্দিষ্ট বিষয়ের উপর ভিত্তি করে ছবি সম্পাদনা বা তৈরি করতে Imagen থেকে কাস্টমাইজেশন ক্ষমতা ব্যবহার করা যায়।

এটি কীভাবে কাজ করে : আপনি একটি টেক্সট প্রম্পট এবং কমপক্ষে একটি রেফারেন্স ছবি প্রদান করেন যা একটি নির্দিষ্ট বিষয় (যেমন একটি পণ্য, ব্যক্তি, বা প্রাণীর সঙ্গী) দেখায়। মডেলটি এই ইনপুটগুলি ব্যবহার করে রেফারেন্স ছবিতে নির্দিষ্ট বিষয়ের উপর ভিত্তি করে একটি নতুন ছবি তৈরি করে।

উদাহরণস্বরূপ, আপনি মডেলটিকে একটি শিশুর ছবিতে একটি কার্টুন স্টাইল প্রয়োগ করতে বলতে পারেন অথবা ছবিতে একটি সাইকেলের রঙ পরিবর্তন করতে বলতে পারেন।

কোডে যান



শুরু করার আগে

শুধুমাত্র আপনার API প্রদানকারী হিসেবে Vertex AI Gemini API ব্যবহার করলেই এটি উপলব্ধ।

যদি আপনি ইতিমধ্যেই না করে থাকেন, তাহলে শুরু করার নির্দেশিকাটি সম্পূর্ণ করুন, যেখানে আপনার Firebase প্রকল্পটি কীভাবে সেট আপ করবেন, আপনার অ্যাপটিকে Firebase-এর সাথে সংযুক্ত করবেন, SDK যোগ করবেন, আপনার নির্বাচিত API প্রদানকারীর জন্য ব্যাকএন্ড পরিষেবা শুরু করবেন এবং একটি ImagenModel ইনস্ট্যান্স তৈরি করবেন তা বর্ণনা করা হয়েছে।

এই ক্ষমতা সমর্থন করে এমন মডেলগুলি

ইমেজেন তার capability মডেলের মাধ্যমে চিত্র সম্পাদনা প্রদান করে:

  • imagen-3.0-capability-001

মনে রাখবেন যে Imagen মডেলের জন্য, global অবস্থান সমর্থিত নয়

একটি বিষয় কাস্টমাইজেশন অনুরোধ পাঠান

নিচের নমুনাটি একটি বিষয় কাস্টমাইজেশন অনুরোধ দেখায় যা মডেলটিকে প্রদত্ত রেফারেন্স চিত্রের উপর ভিত্তি করে একটি নতুন চিত্র তৈরি করতে বলে (এই উদাহরণে, একটি বিড়াল)। যেহেতু একটি বিড়াল একটি প্রাণী , তাই এটি বিষয় টাইপ ImagenSubjectReferenceType.ANIMAL ব্যবহার করে।

যদি আপনার বিষয়বস্তু একজন ব্যক্তি বা পণ্য হয়, তাহলে আপনি এই উদাহরণটিও ব্যবহার করতে পারেন তবে নিম্নলিখিত পরিবর্তনগুলি সহ:

  • যদি আপনার বিষয় একজন ব্যক্তি হয়, তাহলে বিষয় টাইপ ImagenSubjectReferenceType.PERSON ব্যবহার করুন। ছবি তৈরির আরও নির্দেশনার জন্য আপনি ফেস মেশ কন্ট্রোল ইমেজ সহ বা ছাড়াই এই ধরণের অনুরোধ পাঠাতে পারেন।

  • যদি আপনার বিষয় একটি পণ্য হয়, তাহলে বিষয় টাইপ ImagenSubjectReferenceType.PRODUCT ব্যবহার করুন।

প্রম্পট লেখা এবং সেগুলির মধ্যে রেফারেন্স ছবি কীভাবে ব্যবহার করবেন তা জানতে এই পৃষ্ঠায় পরে প্রম্পট টেমপ্লেটগুলি পর্যালোচনা করুন।

সুইফট

Swift-এর জন্য Imagen মডেলের মাধ্যমে ছবি সম্পাদনা সমর্থিত নয়। এই বছরের শেষের দিকে আবার দেখুন!

Kotlin

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'referenceImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val referenceImage: Bitmap = TODO("Load your reference image Bitmap here")

    // Define the subject reference using the reference image.
    val subjectReference = ImagenSubjectReference(
        image = referenceImage,
        referenceID = 1,
        description = "cat",
        subjectType = ImagenSubjectReferenceType.ANIMAL
    )

    // Provide a prompt that describes the final image.
    // The "[1]" links the prompt to the subject reference with ID 1.
    val prompt = "A cat[1] flying through outer space"

    // Use the editImage API to perform the subject customization.
    // Pass the list of references, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        referenceImages = listOf(subjectReference),
        prompt = prompt,
        config = ImagenEditingConfig(
            editSteps = 50 // Number of editing steps, a higher value can improve quality
        )
    )

    // Process the result
}

Java

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'referenceImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap referenceImage = null; // TODO("Load your image Bitmap here");

// Define the subject reference using the reference image.
ImagenSubjectReference subjectReference = new ImagenSubjectReference.Builder()
        .setImage(referenceImage)
        .setReferenceID(1)
        .setDescription("cat")
        .setSubjectType(ImagenSubjectReferenceType.ANIMAL)
        .build();

// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the subject reference with ID 1.
String prompt = "A cat[1] flying through outer space";

// Define the editing configuration.
ImagenEditingConfig imagenEditingConfig = new ImagenEditingConfig.Builder()
        .setEditSteps(50) // Number of editing steps, a higher value can improve quality
        .build();

// Use the editImage API to perform the subject customization.
// Pass the list of references, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Collections.singletonList(subjectReference), prompt, imagenEditingConfig), new FutureCallback<ImagenGenerationResponse>() {
    @Override
    public void onSuccess(ImagenGenerationResponse result) {
        if (result.getImages().isEmpty()) {
            Log.d("TAG", "No images generated");
        }
        Bitmap bitmap = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
        // Use the bitmap to display the image in your UI
    }

    @Override
    public void onFailure(Throwable t) {
        // ...
    }
}, Executors.newSingleThreadExecutor());

Web

ওয়েব অ্যাপের জন্য ইমেজেন মডেলের মাধ্যমে ছবি সম্পাদনা করা সমর্থিত নয়। এই বছরের শেষের দিকে আবার দেখুন!

Dart

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'referenceImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List referenceImage = Uint8List(0); // TODO: Load your reference image data here

// Define the subject reference using the reference image.
final subjectReference = ImagenSubjectReference(
  image: referenceImage,
  referenceId: 1,
  description: 'cat',
  subjectType: ImagenSubjectReferenceType.animal,
);

// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the subject reference with ID 1.
final prompt = "A cat[1] flying through outer space.";

try {
  // Use the editImage API to perform the subject customization.
  // Pass the list of references, the prompt, and an editing configuration.
  final response = await model.editImage(
    [subjectReference],
    prompt,
    config: ImagenEditingConfig(
      editSteps: 50, // Number of editing steps, a higher value can improve quality
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

ঐক্য

ইউনিটিতে ইমেজেন মডেলের মাধ্যমে ছবি সম্পাদনা করা যাবে না। এই বছরের শেষের দিকে আবার দেখুন!

প্রম্পট টেমপ্লেট

অনুরোধে, আপনি একটি ImagenSubjectReference সংজ্ঞায়িত করে রেফারেন্স ছবি (সর্বোচ্চ ৪টি ছবি) প্রদান করেন যেখানে আপনি একটি ছবির জন্য একটি রেফারেন্স আইডি (এবং ঐচ্ছিকভাবে একটি বিষয়ের বিবরণও) নির্দিষ্ট করেন। মনে রাখবেন যে একাধিক ছবির একই রেফারেন্স আইডি থাকতে পারে (উদাহরণস্বরূপ, একই বিড়ালের একাধিক ছবি)।

তারপর, প্রম্পট লেখার সময়, আপনি এই আইডিগুলি উল্লেখ করেন। উদাহরণস্বরূপ, আপনি রেফারেন্স আইডি 1 সহ ছবিগুলি উল্লেখ করার জন্য প্রম্পটে [1] ব্যবহার করেন। আপনি যদি কোনও বিষয়ের বিবরণ প্রদান করেন, তাহলে আপনি এটি প্রম্পটে অন্তর্ভুক্ত করতে পারেন যাতে একজন মানুষের পক্ষে প্রম্পটটি পড়া সহজ হয়।

নিম্নলিখিত সারণীতে প্রম্পট টেমপ্লেটগুলি বর্ণনা করা হয়েছে যা কোনও বিষয়ের (যেমন কোনও পণ্য, ব্যক্তি বা প্রাণীর সঙ্গী) উপর ভিত্তি করে কাস্টমাইজেশনের জন্য প্রম্পট লেখার জন্য একটি সূচনা বিন্দু হতে পারে।

ব্যবহারের ধরণ রেফারেন্স ছবি প্রম্পট টেমপ্লেট উদাহরণ
পণ্যের ছবির স্টাইলাইজেশন - বিজ্ঞাপন বিষয়ের ছবি (সর্বোচ্চ ৪টি) SUBJECT_DESCRIPTION [1] সম্পর্কে একটি ছবি তৈরি করুন যা বর্ণনার সাথে মিলে যাবে: ${PROMPT}

বর্ণনার সাথে মিল রেখে Luxe Elixir hair oil, golden liquid in glass bottle [1] সম্পর্কে একটি ছবি তৈরি করুন: সাদা পটভূমিতে Luxe Elixir hair oil, golden liquid in glass bottle [1] ধরে থাকা একজন মহিলার হাতের একটি ক্লোজ-আপ, হাই-কি ছবি। মহিলার হাতটি ভালোভাবে আলোকিত এবং বোতলের উপর তীক্ষ্ণ দৃষ্টি নিবদ্ধ করা হয়েছে, পটভূমিটি অগভীর গভীরতা দ্বারা ঝাপসা হয়ে পণ্যটির উপর জোর দেওয়া হয়েছে। আলো নরম এবং ছড়িয়ে আছে, যা বোতল এবং হাতের চারপাশে একটি সূক্ষ্ম আভা তৈরি করে। সামগ্রিক রচনাটি সহজ এবং মার্জিত, যা পণ্যটির বিলাসবহুল আবেদনকে তুলে ধরে।

পণ্যের ছবির স্টাইলাইজেশন - অ্যাট্রিবিউট পরিবর্তন বিষয়ের ছবি (সর্বোচ্চ ৪টি) ${PROMPT} এর পরিবর্তে SUBJECT_DESCRIPTION এর একটি ছবি তৈরি করুন

একটি Seiko watch [1] ছবি তৈরি করুন কিন্তু নীল রঙে

ফেস মেশ ইনপুট ছাড়াই ব্যক্তির ছবির স্টাইলাইজেশন বিষয়ের ছবি (সর্বোচ্চ ৪টি) SUBJECT_DESCRIPTION [1] সম্পর্কে একটি ছবি তৈরি করুন যা বর্ণনার সাথে মিলে যায়: SUBJECT_DESCRIPTION [1] ${PROMPT} এর একটি প্রতিকৃতি a woman with short hair[1] বর্ণনার সাথে মিলে একটি ছবি তৈরি করুন: ঝাপসা ব্যাকগ্রাউন্ড সহ 3D-কার্টুন স্টাইলে a woman with short hair[1] প্রতিকৃতি । একটি সুন্দর এবং মনোরম চরিত্র, হাসিমুখে ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের স্বর ...
ফেস মেশ ইনপুট ছাড়াই ব্যক্তির ছবির স্টাইলাইজেশন বিষয়ের ছবি (সর্বোচ্চ ৪টি) SUBJECT_DESCRIPTION [1] সম্পর্কে একটি STYLE_DESCRIPTION [2] ছবি তৈরি করুন যা বর্ণনার সাথে মিলে যায়: SUBJECT_DESCRIPTION [1] STYLE_PROMPT এর একটি প্রতিকৃতি a woman with short hair [1] বর্ণনার সাথে মিল রেখে একটি 3d-cartoon style [2] ছবি তৈরি করুন: ঝাপসা ব্যাকগ্রাউন্ড সহ 3D-কার্টুন স্টাইলে a woman with short hair [1] প্রতিকৃতি । একটি সুন্দর এবং মনোরম চরিত্র, হাসিমুখে ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের স্বর ...
ফেস মেশ ইনপুট সহ ব্যক্তির ছবির স্টাইলাইজেশন বিষয়ের ছবি (সর্বোচ্চ ৩টি)

ফেস মেশ কন্ট্রোল ইমেজ (1)
Face mesh from the control image [2] ব্যবহার করে SUBJECT_DESCRIPTION [1] এর একটি ছবি তৈরি করুন। ${PROMPT} face mesh from the control image [2] দিয়ে the person [1] একটি ছবি তৈরি করুন। ব্যক্তিটি একটি নিরপেক্ষ অভিব্যক্তি সহ সরাসরি সামনের দিকে তাকানো উচিত। পটভূমিটি একটি ... হওয়া উচিত।
ফেস মেশ ইনপুট সহ ব্যক্তির ছবির স্টাইলাইজেশন বিষয়ের ছবি (সর্বোচ্চ ৩টি)

ফেস মেশ কন্ট্রোল ইমেজ (1)
CONTROL_IMAGE [2] এর ভঙ্গিতে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি ছবি তৈরি করুন যাতে বর্ণনার সাথে মিল থাকে: SUBJECT_DESCRIPTION [1] ${PROMPT} এর একটি প্রতিকৃতি control image [2] এর ভঙ্গিতে a woman with short hair [1] একটি ছবি তৈরি করুন যা বর্ণনার সাথে মিলে যায়: ঝাপসা ব্যাকগ্রাউন্ড সহ 3D-কার্টুন স্টাইলে a woman with short hair [1] একটি প্রতিকৃতি । একটি সুন্দর এবং সুন্দর চরিত্র, হাসিমুখে ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের স্বর ...
ফেস মেশ ইনপুট সহ ব্যক্তির ছবির স্টাইলাইজেশন বিষয়ের ছবি (সর্বোচ্চ ৩টি)

ফেস মেশ কন্ট্রোল ইমেজ (1)
CONTROL_IMAGE [2] এর ভঙ্গিতে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি STYLE_DESCRIPTION [3] চিত্র তৈরি করুন যাতে বর্ণনার সাথে মিল থাকে: SUBJECT_DESCRIPTION [1] ${PROMPT} এর একটি প্রতিকৃতি control image [2] এর ভঙ্গিতে a woman with short hair [1] একটি 3d-cartoon style [3] ছবি তৈরি করুন যা বর্ণনার সাথে মিলে যায়: ঝাপসা ব্যাকগ্রাউন্ড সহ 3D-কার্টুন স্টাইলে a woman with short hair [1] একটি প্রতিকৃতি । একটি সুন্দর এবং সুন্দর চরিত্র, হাসিমুখে, ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের স্বর ...



সর্বোত্তম অনুশীলন এবং সীমাবদ্ধতা

যদি আপনি কোনও ব্যক্তিকে আপনার বিষয় হিসেবে ব্যবহার করেন, তাহলে আমরা সুপারিশ করব যে আপনার রেফারেন্স ছবিতে থাকা মুখটিতে নিম্নলিখিত বৈশিষ্ট্যগুলি থাকা উচিত:

  • কেন্দ্রীভূত এবং পুরো ছবির অন্তত অর্ধেক দখল করে
  • সামনের দিকে সব দিকে ঘোরানো হয় (ঘূর্ণন, পিচ এবং হাঁপানি)
  • সানগ্লাস বা মাস্কের মতো জিনিস দ্বারা আটকে থাকে না

ব্যবহারের ক্ষেত্রে

কাস্টমাইজেশন ক্ষমতাটি ফ্রি-স্টাইল প্রম্পটিং প্রদান করে, যা এই ধারণা দিতে পারে যে মডেলটি যা করার জন্য প্রশিক্ষিত তার চেয়েও বেশি কিছু করতে পারে। নিম্নলিখিত বিভাগগুলিতে কাস্টমাইজেশনের জন্য উদ্দেশ্যমূলক ব্যবহারের ক্ষেত্রে এবং অনিচ্ছাকৃত ব্যবহারের ক্ষেত্রে অ-সম্পূর্ণ উদাহরণ বর্ণনা করা হয়েছে।

আমরা এই ক্ষমতাটি ব্যবহারের জন্য সুপারিশ করছি, কারণ আমরা মডেলটিকে সেই ব্যবহারের ক্ষেত্রে প্রশিক্ষণ দিয়েছি এবং তাদের জন্য ভালো ফলাফল আশা করি। বিপরীতভাবে, যদি আপনি মডেলটিকে উদ্দেশ্যমূলক ব্যবহারের ক্ষেত্রের বাইরে কিছু করার জন্য চাপ দেন, তাহলে আপনার খারাপ ফলাফল আশা করা উচিত।

উদ্দেশ্যপ্রণোদিত ব্যবহারের ক্ষেত্রে

বিষয়ের উপর ভিত্তি করে কাস্টমাইজেশনের জন্য নিম্নলিখিত ব্যবহারের উদাহরণ দেওয়া হল:

  • একজন ব্যক্তির ছবি স্টাইলাইজ করুন।

  • একজন ব্যক্তির ছবি স্টাইলাইজ করুন এবং তার মুখের ভাব সংরক্ষণ করুন।

  • (কম সাফল্য) একটি পণ্য, যেমন একটি সোফা বা কুকি, বিভিন্ন দৃশ্যে বিভিন্ন পণ্য কোণে রাখুন।

  • এমন পণ্যের বৈচিত্র তৈরি করুন যা সঠিক বিবরণ সংরক্ষণ করে না।

  • মুখের ভাব সংরক্ষণ করে একজন ব্যক্তির ছবি স্টাইলাইজ করুন।

অনিচ্ছাকৃত ব্যবহারের উদাহরণ

নিচে বিষয়ের উপর ভিত্তি করে কাস্টমাইজেশনের জন্য অনিচ্ছাকৃত ব্যবহারের ক্ষেত্রের একটি অ-সম্পূর্ণ তালিকা দেওয়া হল। মডেলটি এই ব্যবহারের ক্ষেত্রে প্রশিক্ষিত নয়, এবং সম্ভবত খারাপ ফলাফল দেবে।

  • দুই বা ততোধিক ব্যক্তিকে তাদের পরিচয় সংরক্ষণ করে বিভিন্ন দৃশ্যে রাখুন।

  • দুই বা ততোধিক ব্যক্তিকে বিভিন্ন দৃশ্যে রাখুন, তাদের পরিচয় সংরক্ষণ করুন এবং স্টাইলের ইনপুট হিসেবে একটি উদাহরণ ইমেজ ব্যবহার করে আউটপুট ইমেজের স্টাইল নির্দিষ্ট করুন।

  • দুই বা ততোধিক ব্যক্তির পরিচয় সংরক্ষণ করে তাদের ছবি স্টাইলাইজ করুন।

  • একটি পোষা প্রাণীর পরিচয় সংরক্ষণ করে তাকে বিভিন্ন দৃশ্যে রাখুন।

  • একটি পোষা প্রাণীর ছবি স্টাইলাইজ করুন এবং এটিকে একটি অঙ্কনে পরিণত করুন।

  • একটি পোষা প্রাণীর ছবি স্টাইলাইজ করুন এবং এটিকে একটি অঙ্কনে পরিণত করুন, একই সাথে ছবির স্টাইল (যেমন জলের রঙ) সংরক্ষণ বা নির্দিষ্ট করুন।

  • একটি পোষা প্রাণী এবং একজন ব্যক্তিকে আলাদা দৃশ্যে রাখুন, উভয়ের পরিচয় সংরক্ষণ করুন।

  • একটি পোষা প্রাণী এবং এক বা একাধিক মানুষের ছবি স্টাইলাইজ করুন এবং এটিকে একটি অঙ্কনে পরিণত করুন।

  • দুটি পণ্যকে ভিন্ন ভিন্ন দৃশ্যে ভিন্ন ভিন্ন পণ্য কোণে রাখুন।

  • একটি পণ্য, যেমন একটি কুকি বা একটি সোফা, বিভিন্ন দৃশ্যে বিভিন্ন পণ্য কোণে এবং একটি নির্দিষ্ট চিত্র শৈলী অনুসরণ করে (যেমন নির্দিষ্ট রঙ, আলোর শৈলী, বা অ্যানিমেশন সহ ফটোরিয়ালিস্টিক) রাখুন।

  • একটি নিয়ন্ত্রণ চিত্র দ্বারা নির্দিষ্ট দৃশ্যের নির্দিষ্ট রচনা সংরক্ষণ করে, একটি পণ্যকে একটি ভিন্ন দৃশ্যে রাখুন।

  • একটি নির্দিষ্ট ছবি ইনপুট হিসেবে ব্যবহার করে (যেমন নির্দিষ্ট রঙ, আলোর ধরণ, অথবা অ্যানিমেশন সহ ফটোরিয়ালিস্টিক) দুটি পণ্যকে বিভিন্ন পণ্য কোণে বিভিন্ন দৃশ্যে রাখুন।

  • একটি নিয়ন্ত্রণ চিত্র দ্বারা নির্দিষ্ট দৃশ্যের নির্দিষ্ট রচনা সংরক্ষণ করে দুটি পণ্যকে ভিন্ন দৃশ্যে রাখুন।