এই পৃষ্ঠায় বর্ণনা করা হয়েছে কীভাবে Firebase AI Logic SDK ব্যবহার করে একটি নির্দিষ্ট কন্ট্রোলের উপর ভিত্তি করে ছবি সম্পাদনা বা তৈরি করতে Imagen- এর কাস্টমাইজেশন সুবিধা ব্যবহার করা যায়।
এটি যেভাবে কাজ করে : আপনি একটি টেক্সট প্রম্পট এবং অন্তত একটি কন্ট্রোল রেফারেন্স ইমেজ (যেমন একটি ড্রয়িং বা ক্যানি এজ ইমেজ) প্রদান করেন। মডেলটি এই ইনপুটগুলো ব্যবহার করে কন্ট্রোল ইমেজগুলোর উপর ভিত্তি করে একটি নতুন ইমেজ তৈরি করে।
উদাহরণস্বরূপ, আপনি মডেলটিকে একটি রকেট জাহাজ ও চাঁদের ছবির সাথে একটি লিখিত নির্দেশ দিতে পারেন, যাতে সে ছবিটির উপর ভিত্তি করে একটি জলরঙের ছবি তৈরি করে।
নিয়ন্ত্রণ রেফারেন্স চিত্রের প্রকারভেদ
নিয়ন্ত্রিত কাস্টমাইজেশনের জন্য রেফারেন্স ইমেজটি একটি স্ক্রিবল , একটি ক্যানি এজ ইমেজ বা একটি ফেস মেশ হতে পারে।
স্ক্রিবল হলো হাতে আঁকা একটি অমসৃণ স্কেচ বা রূপরেখা, যা মডেলটিকে অনুসরণ করার জন্য একটি মৌলিক কাঠামো, স্থানিক বিন্যাস এবং লেআউট প্রদান করে। টেক্সট প্রম্পটটি তৈরি হওয়া ছবিটির জন্য বিস্তারিত বিবরণ, রঙ এবং টেক্সচার সরবরাহ করে।
উদাহরণস্বরূপ: আপনি একটি বাড়ি, একটি গাছ এবং একটি সূর্যের ছবি আঁকলেন এবং সাথে "সূর্যোদয়ের সময় পাশে একটি বড় ওক গাছসহ একটি কুটিরের খেয়ালি জলরঙের ছবি"-র মতো একটি টেক্সট প্রম্পট দিলেন। মডেলটি তখন আপনার আঁকা ছবির সাধারণ বিন্যাস অনুসরণ করে বর্ণিত দৃশ্যের সাথে মিলে যায় এমন একটি ছবি তৈরি করবে।
ক্যানি এজ ইমেজ হলো এমন একটি চিত্র যেখানে কোনো উৎস চিত্রের উপর একটি অ্যালগরিদম, বিশেষত ক্যানি এজ ডিটেক্টর , প্রয়োগ করে সেই চিত্রের মধ্যে থাকা বস্তুগুলোর প্রান্ত বা কিনারা চিহ্নিত করা হয়। টেক্সট প্রম্পট দ্বারা নির্দিষ্ট করা স্টাইল, রঙ বা অন্যান্য বৈশিষ্ট্য পরিবর্তন করার সময়ও এই কিনারাগুলো মডেলকে বস্তুগুলোর সুনির্দিষ্ট কাঠামো বজায় রাখতে সাহায্য করে।
উদাহরণস্বরূপ: আপনার কাছে সোফায় বসে থাকা একটি কুকুরের ছবি আছে। আপনি ছবিটির উপর ক্যানি এজ ডিটেক্টর (Canny edge detector) চালিয়ে শুধু কুকুর এবং সোফার আউটলাইনের একটি ছবি পান। এরপর আপনি এই এজ ম্যাপটিকে কন্ট্রোল ইমেজ হিসেবে ব্যবহার করেন এবং সাথে "একটি চামড়ার সোফায় বসে থাকা গোল্ডেন রিট্রিভার কুকুরছানার ছবি"-র মতো একটি টেক্সট প্রম্পট দেন। মডেলটি একটি নতুন ছবি তৈরি করবে যা মূল কুকুরটির ভঙ্গি এবং সোফার কম্পোজিশনের সাথে হুবহু মিলে যাবে, কিন্তু মূল বিষয়গুলোর পরিবর্তে সেখানে একটি গোল্ডেন রিট্রিভার কুকুরছানা এবং একটি চামড়ার সোফা থাকবে।
- ফেস মেশ হলো এমন একটি চিত্র যা মডেলকে একটি নির্দিষ্ট মুখ বুঝতে এবং তার প্রতিরূপ তৈরি করতে সাহায্য করে। এটি একটি মানব মুখের ত্রিমাত্রিক ডিজিটাল উপস্থাপনা, যা সাধারণত পরস্পর সংযুক্ত বিন্দু (ভার্টেক্স) এবং ত্রিভুজের একটি নেটওয়ার্ক, যা মুখের আকৃতি এবং রূপরেখা নির্ধারণ করে। এটি মডেলকে গুরুত্বপূর্ণ ল্যান্ডমার্ক (যেমন চোখ, নাক এবং মুখ) এবং টেক্সচার সরবরাহ করে।
শুরু করার আগে
| শুধুমাত্র তখনই উপলব্ধ যখন আপনার এপিআই প্রদানকারী হিসেবে ভার্টেক্স এআই জেমিনি এপিআই ব্যবহার করা হয়। |
যদি আপনি ইতিমধ্যে তা না করে থাকেন, তাহলে ‘ গেটিং স্টার্টেড গাইড’টি সম্পূর্ণ করুন, যেখানে আপনার Firebase প্রজেক্ট সেট আপ করা, আপনার অ্যাপকে Firebase-এর সাথে সংযুক্ত করা, SDK যোগ করা, আপনার নির্বাচিত API প্রোভাইডারের জন্য ব্যাকএন্ড সার্ভিস ইনিশিয়ালাইজ করা এবং একটি ImagenModel ইনস্ট্যান্স তৈরি করার পদ্ধতি বর্ণনা করা হয়েছে।
যে মডেলগুলো এই সক্ষমতা সমর্থন করে
ইমেজেন তার capability মডেলের মাধ্যমে ছবি সম্পাদনার সুবিধা প্রদান করে:
-
imagen-3.0-capability-001
উল্লেখ্য যে, Imagen মডেলগুলোর জন্য global লোকেশন সমর্থিত নয় ।
একটি নিয়ন্ত্রিত কাস্টমাইজেশন অনুরোধ পাঠান
নিম্নলিখিত নমুনাটি একটি নিয়ন্ত্রিত কাস্টমাইজেশন অনুরোধ দেখায় যা মডেলকে প্রদত্ত রেফারেন্স চিত্রের (এই উদাহরণে, মহাকাশের একটি অঙ্কন, যেমন একটি রকেট এবং চাঁদ) উপর ভিত্তি করে একটি নতুন চিত্র তৈরি করতে বলে। যেহেতু রেফারেন্স চিত্রটি একটি অমসৃণ, হাতে আঁকা স্কেচ বা রূপরেখা , তাই এটি CONTROL_TYPE_SCRIBBLE কন্ট্রোল টাইপটি ব্যবহার করে।
আপনার রেফারেন্স ইমেজটি যদি একটি ক্যানি এজ ইমেজ বা ফেস মেশ হয়, তাহলে আপনি এই উদাহরণটিও ব্যবহার করতে পারেন, তবে নিম্নলিখিত পরিবর্তনগুলো সহ:
আপনার রেফারেন্স ইমেজটি যদি একটি ক্যানি এজ ইমেজ হয়, তাহলে
CONTROL_TYPE_CANNYকন্ট্রোল টাইপটি ব্যবহার করুন।আপনার রেফারেন্স ইমেজটি যদি একটি ফেস মেশ হয়, তাহলে
CONTROL_TYPE_FACE_MESHকন্ট্রোল টাইপটি ব্যবহার করুন। এই কন্ট্রোলটি শুধুমাত্র মানুষের সাবজেক্ট কাস্টমাইজেশনের ক্ষেত্রে ব্যবহার করা যাবে।
রাইটিং প্রম্পট এবং সেগুলোর মধ্যে কীভাবে রেফারেন্স ইমেজ ব্যবহার করতে হয়, সে সম্পর্কে জানতে এই পৃষ্ঠার পরবর্তী অংশে থাকা প্রম্পট টেমপ্লেটগুলো পর্যালোচনা করুন।
সুইফট
Swift-এ Imagen মডেল ব্যবহার করে ছবি সম্পাদনা করা সমর্থিত নয়। এই বছরের শেষের দিকে আবার দেখুন!
Kotlin
// Using this SDK to access Imagen models is a Preview release and requires opt-in
@OptIn(PublicPreviewAPI::class)
suspend fun customizeImage() {
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
val ai = Firebase.ai(backend = GenerativeBackend.vertexAI(location = "us-central1"))
// Create an `ImagenModel` instance with an Imagen "capability" model
val model = ai.imagenModel("imagen-3.0-capability-001")
// This example assumes 'referenceImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
val referenceImage: Bitmap = TODO("Load your reference image Bitmap here")
// Define the subject reference using the reference image.
val controlReference = ImagenControlReference(
image = referenceImage,
referenceID = 1,
controlType = CONTROL_TYPE_SCRIBBLE
)
// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the subject reference with ID 1.
val prompt = "A cat flying through outer space arranged like the space scribble[1]"
// Use the editImage API to perform the controlled customization.
// Pass the list of references, the prompt, and an editing configuration.
val editedImage = model.editImage(
referenceImages = listOf(controlReference),
prompt = prompt,
config = ImagenEditingConfig(
editSteps = 50 // Number of editing steps, a higher value can improve quality
)
)
// Process the result
}
Java
// Initialize the Vertex AI Gemini API backend service
// Optionally specify the location to access the model (for example, `us-central1`)
// Create an `ImagenModel` instance with an Imagen "capability" model
ImagenModel imagenModel = FirebaseAI.getInstance(GenerativeBackend.vertexAI("us-central1"))
.imagenModel(
/* modelName */ "imagen-3.0-capability-001");
ImagenModelFutures model = ImagenModelFutures.from(imagenModel);
// This example assumes 'referenceImage' is a pre-loaded Bitmap.
// In a real app, this might come from the user's device or a URL.
Bitmap referenceImage = null; // TODO("Load your image Bitmap here");
// Define the subject reference using the reference image.
ImagenControlReference controlReference = new ImagenControlReference.Builder()
.setImage(referenceImage)
.setReferenceID(1)
.setControlType(CONTROL_TYPE_SCRIBBLE)
.build();
// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the subject reference with ID 1.
String prompt = "A cat flying through outer space arranged like the space scribble[1]";
// Define the editing configuration.
ImagenEditingConfig imagenEditingConfig = new ImagenEditingConfig.Builder()
.setEditSteps(50) // Number of editing steps, a higher value can improve quality
.build();
// Use the editImage API to perform the controlled customization.
// Pass the list of references, the prompt, and an editing configuration.
Futures.addCallback(model.editImage(Collections.singletonList(controlReference), prompt, imagenEditingConfig), new FutureCallback<ImagenGenerationResponse>() {
@Override
public void onSuccess(ImagenGenerationResponse result) {
if (result.getImages().isEmpty()) {
Log.d("TAG", "No images generated");
}
Bitmap bitmap = ((ImagenInlineImage) result.getImages().get(0)).asBitmap();
// Use the bitmap to display the image in your UI
}
@Override
public void onFailure(Throwable t) {
// ...
}
}, Executors.newSingleThreadExecutor());
Web
Imagen মডেল ব্যবহার করে ছবি সম্পাদনা ওয়েব অ্যাপের জন্য সমর্থিত নয়। এই বছরের শেষের দিকে আবার দেখুন!
Dart
import 'dart:typed_data';
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI Gemini API backend service
// Optionally specify a location to access the model (for example, `us-central1`)
final ai = FirebaseAI.vertexAI(location: 'us-central1');
// Create an `ImagenModel` instance with an Imagen "capability" model
final model = ai.imagenModel(model: 'imagen-3.0-capability-001');
// This example assumes 'referenceImage' is a pre-loaded Uint8List.
// In a real app, this might come from the user's device or a URL.
final Uint8List referenceImage = Uint8List(0); // TODO: Load your reference image data here
// Define the control reference using the reference image.
final controlReference = ImagenControlReference(
image: referenceImage,
referenceId: 1,
controlType: ImagenControlType.scribble,
);
// Provide a prompt that describes the final image.
// The "[1]" links the prompt to the subject reference with ID 1.
final prompt = "A cat flying through outer space arranged like the space scribble[1]";
try {
// Use the editImage API to perform the controlled customization.
// Pass the list of references, the prompt, and an editing configuration.
final response = await model.editImage(
[controlReference],
prompt,
config: ImagenEditingConfig(
editSteps: 50, // Number of editing steps, a higher value can improve quality
),
);
// Process the result.
if (response.images.isNotEmpty) {
final editedImage = response.images.first.bytes;
// Use the editedImage (a Uint8List) to display the image, save it, etc.
print('Image successfully generated!');
} else {
// Handle the case where no images were generated.
print('Error: No images were generated.');
}
} catch (e) {
// Handle any potential errors during the API call.
print('An error occurred: $e');
}
ঐক্য
ইউনিটিতে ইমেজেন মডেল ব্যবহার করে ইমেজ এডিটিং সমর্থিত নয়। এই বছরের শেষের দিকে আবার চেষ্টা করুন!
প্রম্পট টেমপ্লেট
অনুরোধে, আপনি একটি ImagenControlReference সংজ্ঞায়িত করে রেফারেন্স ছবি (সর্বোচ্চ ৪টি) প্রদান করেন, যেখানে আপনি প্রতিটি ছবির জন্য একটি রেফারেন্স আইডি নির্দিষ্ট করে দেন। মনে রাখবেন যে একাধিক ছবির একই রেফারেন্স আইডি থাকতে পারে (উদাহরণস্বরূপ, একই ধারণার একাধিক আঁকিবুঁকি)।
তারপর, প্রম্পট লেখার সময়, আপনি এই আইডিগুলো উল্লেখ করবেন। উদাহরণস্বরূপ, রেফারেন্স আইডি 1 সহ ছবিগুলোকে বোঝাতে আপনি প্রম্পটে [1] ব্যবহার করবেন।
নিম্নলিখিত সারণিতে প্রম্পট টেমপ্লেট দেওয়া হয়েছে, যা কোনো কন্ট্রোলের উপর ভিত্তি করে কাস্টমাইজেশনের জন্য প্রম্পট লেখার প্রাথমিক ধাপ হিসেবে কাজ করতে পারে।
| ব্যবহারের ক্ষেত্র | রেফারেন্স ছবি | প্রম্পট টেমপ্লেট | উদাহরণ |
|---|---|---|---|
| নিয়ন্ত্রিত কাস্টমাইজেশন | স্ক্রিবল মানচিত্র (1) | বর্ণনার সাথে মেলে এমনভাবে scribble map [1] অনুসারে একটি ছবি তৈরি করুন: ${STYLE_PROMPT} ${PROMPT} । | বর্ণনার সাথে মিল রেখে scribble map [1] অনুযায়ী একটি ছবি তৈরি করুন: ছবিটি স্বচ্ছন্দ তুলির আঁচড়সহ ইম্প্রেশনিস্টিক তৈলচিত্রের শৈলীতে হওয়া উচিত। এতে একটি স্বাভাবিক আলোর পরিবেশ এবং সুস্পষ্ট তুলির আঁচড় থাকবে। একটি গাড়ির পার্শ্ব-দৃশ্য। গাড়িটি একটি ভেজা, প্রতিফলক রাস্তার উপর পার্ক করা আছে, এবং জমে থাকা জলে শহরের আলো প্রতিফলিত হচ্ছে। |
| নিয়ন্ত্রিত কাস্টমাইজেশন | ক্যানি নিয়ন্ত্রণ চিত্র (1) | বর্ণনার সাথে মিল রেখে edge map [1] অনুসারে একটি ছবি তৈরি করুন: ${STYLE_PROMPT} ${PROMPT} | বর্ণনার সাথে মিল রেখে edge map [1] অনুসারে একটি ছবি তৈরি করুন: ছবিটি ইম্প্রেশনিস্টিক তেলচিত্রের শৈলীতে এবং স্বচ্ছন্দ তুলির আঁচড়ে তৈরি হবে। এতে একটি স্বাভাবিক আলোর পরিবেশ এবং সুস্পষ্ট তুলির আঁচড় থাকবে। একটি গাড়ির পার্শ্ব-দৃশ্য। গাড়িটি একটি ভেজা, প্রতিফলক রাস্তার উপর পার্ক করা আছে এবং জমে থাকা জলে শহরের আলো প্রতিফলিত হচ্ছে। |
| ফেস মেশ ইনপুটের মাধ্যমে ব্যক্তির ছবির স্টাইলাইজেশন | বিষয়বস্তুর ছবি (১-৩) ফেস মেশ নিয়ন্ত্রণ চিত্র (1) | বর্ণনার সাথে মিল রেখে CONTROL_IMAGE [2] এর ভঙ্গিতে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি ছবি তৈরি করুন: SUBJECT_DESCRIPTION [1] এর একটি প্রতিকৃতি ${PROMPT} | বর্ণনার সাথে মিল রেখে control image [2] -এর ভঙ্গিতে a woman with short hair [1] একটি ছবি তৈরি করুন: ঝাপসা পটভূমিসহ 3D-কার্টুন শৈলীতে a woman with short hair [1] প্রতিকৃতি । একটি মিষ্টি ও সুন্দর চরিত্র, হাসিমুখ, ক্যামেরার দিকে তাকানো, প্যাস্টেল রঙের ব্যবহার... |
| ফেস মেশ ইনপুটের মাধ্যমে ব্যক্তির ছবির স্টাইলাইজেশন | বিষয়বস্তুর ছবি (১-৩) ফেস মেশ নিয়ন্ত্রণ চিত্র (1) | বর্ণনার সাথে মিল রেখে CONTROL_IMAGE [2] এর ভঙ্গিতে SUBJECT_DESCRIPTION [1] সম্পর্কে একটি ${STYLE_PROMPT} ছবি তৈরি করুন: SUBJECT_DESCRIPTION [1] এর একটি প্রতিকৃতি ${PROMPT} | বর্ণনার সাথে মিল রেখে control image [2] -এর ভঙ্গিতে a woman with short hair [1] একটি 3D-কার্টুন শৈলীর ছবি তৈরি করুন: ঝাপসা পটভূমিসহ 3D-কার্টুন শৈলীতে a woman with short hair [1] প্রতিকৃতি । একটি মিষ্টি ও সুন্দর চরিত্র, হাসিমুখ, ক্যামেরার দিকে তাকানো, প্যাস্টেল রঙের ব্যবহার... |
সর্বোত্তম অনুশীলন এবং সীমাবদ্ধতা
ব্যবহারের ক্ষেত্র
কাস্টমাইজেশন ক্ষমতাটি ফ্রি-স্টাইল প্রম্পটিং-এর সুযোগ দেয়, যা এই ধারণা দিতে পারে যে মডেলটি তার প্রশিক্ষণের চেয়েও বেশি কিছু করতে সক্ষম। নিম্নলিখিত বিভাগগুলিতে কাস্টমাইজেশনের উদ্দিষ্ট ব্যবহার এবং অনাকাঙ্ক্ষিত ব্যবহারের কিছু অসম্পূর্ণ উদাহরণ বর্ণনা করা হয়েছে।
আমরা এই সক্ষমতাটি উদ্দিষ্ট ব্যবহারের ক্ষেত্রেই ব্যবহার করার পরামর্শ দিই, কারণ আমরা মডেলটিকে সেইসব ব্যবহারের ক্ষেত্রেই প্রশিক্ষণ দিয়েছি এবং সেগুলোর জন্য ভালো ফলাফল আশা করি। বিপরীতভাবে, আপনি যদি মডেলটিকে উদ্দিষ্ট ব্যবহারের বাইরের কোনো কাজ করতে বাধ্য করেন, তবে আপনার খারাপ ফলাফল আশা করা উচিত।
উদ্দিষ্ট ব্যবহারের ক্ষেত্র
একটি কন্ট্রোলের উপর ভিত্তি করে কাস্টমাইজেশনের জন্য নিম্নলিখিতগুলি হল উদ্দিষ্ট ব্যবহারের ক্ষেত্র:
এমন একটি ছবি তৈরি করুন যা নির্দেশ এবং ক্যানি এজ কন্ট্রোল ছবিগুলো অনুসরণ করে।
নির্দেশনা এবং আঁকিবুঁকি ছবিগুলো অনুসরণ করে একটি ছবি তৈরি করুন।
কোনো ব্যক্তির মুখের অভিব্যক্তি অক্ষুণ্ণ রেখে তার ছবিকে শৈল্পিক রূপ দিন।
অনিচ্ছাকৃত ব্যবহারের উদাহরণ
নিম্নলিখিতটি একটি কন্ট্রোলের উপর ভিত্তি করে কাস্টমাইজেশনের কিছু অনাকাঙ্ক্ষিত ব্যবহারের একটি অসম্পূর্ণ তালিকা। মডেলটি এই ব্যবহারের ক্ষেত্রগুলোর জন্য প্রশিক্ষিত নয়, এবং সম্ভবত এর ফলাফল ভালো হবে না।
প্রম্পটে নির্দিষ্ট করা স্টাইল ব্যবহার করে একটি ছবি তৈরি করুন।
রেফারেন্স ইমেজ দ্বারা প্রদত্ত একটি নির্দিষ্ট স্টাইল অনুসরণ করে টেক্সট থেকে একটি ইমেজ তৈরি করুন, যেখানে কন্ট্রোল ইমেজ ব্যবহার করে ইমেজের কম্পোজিশনের উপর কিছুটা নিয়ন্ত্রণ রাখা যায়।
একটি রেফারেন্স ইমেজ দ্বারা প্রদত্ত নির্দিষ্ট স্টাইল অনুসরণ করে টেক্সট থেকে একটি ইমেজ তৈরি করুন, যেখানে একটি কন্ট্রোল স্ক্রিবল ব্যবহার করে ইমেজের কম্পোজিশনের উপর কিছুটা নিয়ন্ত্রণ রাখা যায়।
রেফারেন্স ইমেজ দ্বারা প্রদত্ত একটি নির্দিষ্ট শৈলী অনুসরণ করে টেক্সট থেকে একটি ইমেজ তৈরি করুন, যেখানে একটি কন্ট্রোল ইমেজ ব্যবহার করে ইমেজের কম্পোজিশনের উপর কিছুটা নিয়ন্ত্রণ রাখা যায়। ইমেজের ব্যক্তিটির একটি নির্দিষ্ট মুখের অভিব্যক্তি রয়েছে।
দুই বা ততোধিক ব্যক্তির একটি ছবিকে শৈল্পিকভাবে উপস্থাপন করুন এবং তাদের মুখের অভিব্যক্তি অক্ষুণ্ণ রাখুন।
পোষা প্রাণীর একটি ছবিকে শৈল্পিক রূপ দিয়ে অঙ্কনে পরিণত করুন। ছবির গঠনবিন্যাস বজায় রাখুন অথবা নির্দিষ্ট করে দিন (যেমন, জলরং)।