Imagen ব্যবহার করে একটি নির্দিষ্ট শৈলীর উপর ভিত্তি করে ছবি কাস্টমাইজ করুন


Firebase AI লজিক SDK ব্যবহার করে একটি নির্দিষ্ট শৈলীর উপর ভিত্তি করে চিত্র সম্পাদনা বা তৈরি করতে Imagen থেকে কাস্টমাইজেশন ক্ষমতা কীভাবে ব্যবহার করা যায় তা এই পৃষ্ঠায় বর্ণনা করা হয়েছে।

এটি কীভাবে কাজ করে : আপনি একটি পাঠ্য প্রম্পট এবং অন্তত একটি রেফারেন্স ইমেজ প্রদান করেন যা একটি নির্দিষ্ট শৈলী (যেমন একটি প্যাটার্ন, টেক্সচার বা ডিজাইন শৈলী) দেখায়। মডেলটি রেফারেন্স চিত্রগুলিতে নির্দিষ্ট শৈলীর উপর ভিত্তি করে একটি নতুন চিত্র তৈরি করতে এই ইনপুটগুলি ব্যবহার করে।

উদাহরণস্বরূপ, আপনি যে জনপ্রিয় খুচরা ক্যাটালগ প্রদান করেন তার একটি চিত্রের উপর ভিত্তি করে আপনি রান্নাঘরের একটি নতুন চিত্র তৈরি করতে পারেন।

কোডে ঝাঁপ দাও



আপনি শুরু করার আগে

আপনার API প্রদানকারী হিসাবে Vertex AI Gemini API ব্যবহার করার সময় শুধুমাত্র উপলব্ধ।

যদি আপনি ইতিমধ্যেই না করে থাকেন, শুরু করার নির্দেশিকাটি সম্পূর্ণ করুন, যা বর্ণনা করে যে কীভাবে আপনার Firebase প্রকল্প সেট আপ করবেন, আপনার অ্যাপকে Firebase-এর সাথে সংযুক্ত করবেন, SDK যোগ করবেন, আপনার নির্বাচিত API প্রদানকারীর জন্য ব্যাকএন্ড পরিষেবা শুরু করবেন এবং একটি ImagenModel উদাহরণ তৈরি করবেন।

মডেল যে এই ক্ষমতা সমর্থন করে

ইমেজেন তার capability মডেলের মাধ্যমে চিত্র সম্পাদনা অফার করে:

  • imagen-3.0-capability-001

মনে রাখবেন যে Imagen মডেলের জন্য, global অবস্থান সমর্থিত নয়

একটি শৈলী কাস্টমাইজেশন অনুরোধ পাঠান

নিম্নলিখিত নমুনাটি একটি শৈলী কাস্টমাইজেশন অনুরোধ দেখায় যা মডেলকে প্রদত্ত রেফারেন্স চিত্রের শৈলী সহ একটি নতুন চিত্র তৈরি করতে বলে (এই উদাহরণে, ভ্যান গঘের "স্টারি নাইট")।

এই পৃষ্ঠায় পরে প্রম্পট টেমপ্লেটগুলি পর্যালোচনা করুন প্রম্পট লেখার বিষয়ে এবং তাদের মধ্যে রেফারেন্স চিত্রগুলি কীভাবে ব্যবহার করবেন তা শিখতে।

সুইফট

ইমেজেন মডেলের সাথে ছবি সম্পাদনা সুইফটের জন্য সমর্থিত নয়। এই বছরের পরে আবার চেক করুন!

Kotlin

// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
    // Initialize the Vertex AI Gemini API backend service
    // Optionally specify the location to access the model (for example, `us-central1`)
    val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))

    // Create an `ImagenModel` instance with an Imagen "capability" model
    val model = ai.imagenModel("imagen-3.0-capability-001")

    // This example assumes 'referenceImage' is a pre-loaded Bitmap.
    // In a real app, this might come from the user's device or a URL.
    val referenceImage: Bitmap = TODO("Load your reference image Bitmap here")

    // Define the style reference using the reference image.
    val styleReference = ImagenStyleReference(
        image = referenceImage,
        referenceID = 1,
        description = "Van Gogh style"
    )

    // Provide a prompt that describes the final image.
    // The "[1]" links the prompt to the style reference with ID 1.
    val prompt = "A cat flying through outer space, in the Van Gogh style[1]"

    // Use the editImage API to perform the style customization.
    // Pass the list of references, the prompt, and an editing configuration.
    val editedImage = model.editImage(
        references = listOf(styleReference),
        prompt = prompt,
        config = ImagenEditingConfig(
            editSteps = 50 // Number of editing steps, a higher value can improve quality
        )
    )

    // Process the result
}

Java

// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
        .imagenModel(
                /* modelName */ "imagen-3.0-capability-001");

ImagenModelFutures model = ImagenModelFutures.from(imagenModel);

// This example assumes 'referenceImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap referenceImage = null; // TODO("Load your image Bitmap here");

// Define the style reference using the reference image.
ImagenStyleReference subjectReference = new ImagenStyleReference.Builder()
        .setImage(referenceImage)
        .setReferenceID(1)
        .setDescription("Van Gogh style")
        .build();

// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the style reference with ID 1.
String prompt = "A cat flying through outer space, in the Van Gogh style[1]";

// Define the editing configuration.
ImagenEditingConfig imagenEditingConfig = new ImagenEditingConfig.Builder()
        .setEditSteps(50) // Number of editing steps, a higher value can improve quality
        .build();

// Use the editImage API to perform the style customization.
// Pass the list of references, the prompt, and the editing configuration.
Futures.addCallback(model.editImage(Collections.singletonList(styleReference), prompt, imagenEditingConfig), new FutureCallback<ImagenGenerationResponse>() {
    @Override
    public void onSuccess(ImagenGenerationResponse result) {
        if (result.getImages().isEmpty()) {
            Log.d("TAG", "No images generated");
        }
        Bitmap bitmap = result.getImages().get(0).asBitmap();
        // Use the bitmap to display the image in your UI
    }

    @Override
    public void onFailure(Throwable t) {
        // ...
    }
}, Executors.newSingleThreadExecutor());

Web

ইমেজেন মডেলের সাথে ইমেজ এডিটিং ওয়েব অ্যাপের জন্য সমর্থিত নয়। এই বছরের পরে আবার চেক করুন!

Dart

import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

// Initialize FirebaseApp
await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');

// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');

// This example assumes 'referenceImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List referenceImage = Uint8List(0); // TODO: Load your reference image data here

// Define the style reference using the reference image.
final styleReference = ImagenStyleReference(
  image: referenceImage,
  referenceId: 1,
  description: 'Van Gogh style',
);

// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the style reference with ID 1.
final prompt = "A cat flying through outer space, in the Van Gogh style[1]";

try {
  // Use the editImage API to perform the style customization.
  // Pass the list of references, the prompt, and an editing configuration.
  final response = await model.editImage(
    [styleReference],
    prompt,
    config: ImagenEditingConfig(
      editSteps: 50, // Number of editing steps, a higher value can improve quality
    ),
  );

  // Process the result.
  if (response.images.isNotEmpty) {
    final editedImage = response.images.first.bytes;
    // Use the editedImage (a Uint8List) to display the image, save it, etc.
    print('Image successfully generated!');
  } else {
    // Handle the case where no images were generated.
    print('Error: No images were generated.');
  }
} catch (e) {
  // Handle any potential errors during the API call.
  print('An error occurred: $e');
}

ঐক্য

ইমেজেন মডেলের সাথে ইমেজ এডিটিং ইউনিটির জন্য সমর্থিত নয়। এই বছরের পরে আবার চেক করুন!

প্রম্পট টেমপ্লেট

অনুরোধে, আপনি একটি ImagenStyleReference সংজ্ঞায়িত করে রেফারেন্স ইমেজ (4টি ছবি পর্যন্ত) প্রদান করেন যেখানে আপনি একটি ছবির জন্য একটি রেফারেন্স আইডি উল্লেখ করেন (এবং ঐচ্ছিকভাবে একটি শৈলীর বিবরণও)। মনে রাখবেন যে একাধিক ছবিতে একই রেফারেন্স আইডি থাকতে পারে (উদাহরণস্বরূপ, একই প্যাটার্নের একাধিক ফটো)।

তারপর, প্রম্পট লেখার সময়, আপনি এই আইডিগুলি উল্লেখ করুন। উদাহরণস্বরূপ, আপনি রেফারেন্স আইডি 1 সহ চিত্রগুলি উল্লেখ করতে প্রম্পটে [1] ব্যবহার করেন। আপনি যদি একটি বিষয়ের বিবরণ প্রদান করেন তবে আপনি এটিকে প্রম্পটে অন্তর্ভুক্ত করতে পারেন যাতে প্রম্পটটি একজন মানুষের পক্ষে পড়তে সহজ হয়।

নিম্নলিখিত টেবিলটি প্রম্পট টেমপ্লেট সরবরাহ করে যা শৈলীর উপর ভিত্তি করে কাস্টমাইজেশনের জন্য প্রম্পট লেখার জন্য একটি সূচনা বিন্দু হতে পারে।

কেস ব্যবহার করুন রেফারেন্স ইমেজ প্রম্পট টেমপ্লেট উদাহরণ
অবজেক্ট স্টাইল বিষয় চিত্র (1-4) নিম্নলিখিত ক্যাপশনের উপর ভিত্তি করে STYLE_DESCRIPTION [1] -এ একটি চিত্র তৈরি করুন: IMAGE_DESCRIPTION নিম্নলিখিত ক্যাপশনের উপর ভিত্তি করে neon sign style [1] : a sign saying have a great day
ফেস মেশ ইনপুট ছাড়াই ব্যক্তির ছবি স্টাইলাইজেশন বিষয় চিত্র (1-4) বর্ণনার সাথে মেলে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি চিত্র তৈরি করুন: SUBJECT_DESCRIPTION [1] ${PROMPT} এর একটি প্রতিকৃতি বর্ণনার সাথে মেলাতে a woman with short hair[1] সম্পর্কে একটি চিত্র তৈরি করুন: ঝাপসা পটভূমি সহ 3d-কার্টুন শৈলীতে a woman with short hair[1] প্রতিকৃতি৷ একটি চতুর এবং সুন্দর চরিত্র, একটি হাস্যোজ্জ্বল মুখ, ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের টোন ...
ফেস মেশ ইনপুট সহ ব্যক্তির ছবি স্টাইলাইজেশন বিষয় চিত্র (1-3)

ফেসমেশ কন্ট্রোল ইমেজ (1)
বর্ণনার সাথে মেলে CONTROL_IMAGE [2] এর ভঙ্গিতে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি চিত্র তৈরি করুন: SUBJECT_DESCRIPTION [1] ${PROMPT} এর একটি প্রতিকৃতি কন্ট্রোল ইমেজের ভঙ্গিতে a woman with short hair [1] সম্পর্কে একটি চিত্র তৈরি করুন control image [2] বর্ণনার সাথে মিলিত হতে: অস্পষ্ট পটভূমি সহ 3d-কার্টুন শৈলীতে a woman with short hair [1] প্রতিকৃতি৷ একটি চতুর এবং সুন্দর চরিত্র, একটি হাস্যোজ্জ্বল মুখ, ক্যামেরার দিকে তাকিয়ে, প্যাস্টেল রঙের টোন ...



সর্বোত্তম অনুশীলন এবং সীমাবদ্ধতা

কেস ব্যবহার করুন

কাস্টমাইজেশন ক্ষমতা ফ্রি-স্টাইল প্রম্পটিং অফার করে, যা এই ধারণা দিতে পারে যে মডেলটি প্রশিক্ষিত হওয়ার চেয়ে বেশি কিছু করতে পারে। নিম্নলিখিত বিভাগগুলি কাস্টমাইজেশনের জন্য উদ্দিষ্ট ব্যবহারের ক্ষেত্রে এবং অপ্রত্যাশিত ব্যবহারের ক্ষেত্রেগুলির অ-সম্পূর্ণ উদাহরণ বর্ণনা করে।

আমরা উদ্দেশ্যপ্রণোদিত ব্যবহারের ক্ষেত্রে এই ক্ষমতা ব্যবহার করার পরামর্শ দিই, যেহেতু আমরা সেই ব্যবহারের ক্ষেত্রে মডেলটিকে প্রশিক্ষণ দিয়েছি এবং তাদের জন্য ভাল ফলাফল আশা করি৷ বিপরীতভাবে, আপনি যদি মডেলটিকে উদ্দেশ্যপ্রণোদিত ব্যবহারের ক্ষেত্রের বাইরে কিছু করতে চাপ দেন, তাহলে আপনার খারাপ ফলাফল আশা করা উচিত।

উদ্দেশ্যে ব্যবহার ক্ষেত্রে

একটি শৈলীর উপর ভিত্তি করে কাস্টমাইজেশনের জন্য নিম্নলিখিতগুলি উদ্দেশ্যমূলক ব্যবহারের ক্ষেত্রে:

  • পাঠ্য ইনপুট থেকে একটি চিত্র তৈরি করুন যা একটি রেফারেন্স চিত্র দ্বারা প্রদত্ত নির্দিষ্ট শৈলী অনুসরণ করে।

  • একজন ব্যক্তির একটি ফটো পরিবর্তন করুন.

  • একজন ব্যক্তির একটি ফটো পরিবর্তন করুন এবং তাদের মুখের অভিব্যক্তি সংরক্ষণ করুন।

অনিচ্ছাকৃত ব্যবহারের ক্ষেত্রে উদাহরণ

একটি শৈলীর উপর ভিত্তি করে কাস্টমাইজেশনের জন্য অপ্রত্যাশিত ব্যবহারের ক্ষেত্রেগুলির একটি অ-সম্পূর্ণ তালিকা নিচে দেওয়া হল। মডেলটি এই ব্যবহারের ক্ষেত্রে প্রশিক্ষিত নয় এবং সম্ভবত খারাপ ফলাফল দেবে।

  • পাঠ্য থেকে একটি চিত্র তৈরি করুন এবং একটি রেফারেন্স ইমেজ ব্যবহার করে, রেফারেন্স ইমেজ থেকে জেনারেট করা রচনাটির কিছু স্তরের নিয়ন্ত্রণ রাখার অভিপ্রায়ে।

  • একটি রেফারেন্স ইমেজ থেকে একজন ব্যক্তির একটি ইমেজ তৈরি করুন যেখানে একটি নির্দিষ্ট মুখের অভিব্যক্তি আছে।

  • একটি ভিন্ন দৃশ্যে দুই ব্যক্তিকে রাখুন, তাদের পরিচয় সংরক্ষণ করুন এবং একটি রেফারেন্স ইমেজ ব্যবহার করে আউটপুট চিত্রের (যেমন একটি তেল চিত্র) শৈলী নির্দিষ্ট করার সময়।

  • একটি পোষা প্রাণীর একটি ফটোকে স্টাইলাইজ করুন এবং ছবিটির গঠন সংরক্ষণ বা নির্দিষ্ট করার সময় এটিকে একটি অঙ্কনে পরিণত করুন৷

  • একটি পণ্য, যেমন একটি কুকি বা একটি পালঙ্ক, বিভিন্ন পণ্য কোণ সহ বিভিন্ন দৃশ্যে রাখুন এবং একটি নির্দিষ্ট চিত্র শৈলী অনুসরণ করুন (যেমন নির্দিষ্ট রঙ, আলোর শৈলী, বা অ্যানিমেশন সহ ফটোরিয়ালিস্টিক)।