ইনপুট ফাইল ও প্রয়োজনীয়তা

Firebase AI Logic SDK ব্যবহার করে আপনার অ্যাপ থেকে Gemini API কল করার সময়, আপনি Gemini মডেলকে ছবি, ভিডিও, অডিও এবং ডকুমেন্টের (যেমন PDF) মতো মাল্টিমোডাল ইনপুটের উপর ভিত্তি করে টেক্সট জেনারেট করার জন্য প্রম্পট করতে পারেন।

আপনাকে কাজ করে এমন ফাইলের ধরন ব্যবহার করতে হবে, কাজ করে এমন MIME-এর প্রকার উল্লেখ করতে হবে এবং আপনার ফাইল ও মাল্টিমডেল অনুরোধ প্রয়োজনীয়তা পূরণ করছে এবং পেশাদার পদ্ধতি অনুসরণ করছে কিনা তা নিশ্চিত করতে হবে।

এই পৃষ্ঠাটি GenerativeModel ব্যবহারের জন্য নির্দিষ্ট এবং নিম্নলিখিত বিষয়গুলি বর্ণনা করে:

মাল্টিমোডাল অনুরোধে ফাইল প্রদান করার বিকল্প

এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট কন্টেন্ট দেখতে আপনার Gemini API প্রদানকারী বেছে নিন

প্রতিটি মাল্টিমোডাল অনুরোধে, আপনাকে অবশ্যই নিম্নলিখিতগুলি প্রদান করতে হবে:

অনুরোধে আপনি কতগুলি ফাইল দিতে পারবেন এবং সেগুলির সাইজ কত হবে তা নির্ভর করে ইনপুট ফাইলের ধরন, আপনি কীভাবে ফাইল দিচ্ছেন এবং কোন মডেল ব্যবহার করা হচ্ছে তার উপর (বিস্তারিত জানতে, এই পৃষ্ঠায় প্রতিটি ইনপুট ফাইলের ধরনের বিভাগ দেখুন)।

বিকল্প ১: ইনলাইন ডেটা হিসেবে ফাইল প্রদান করা

ইনলাইন ডেটা হিসেবে দেওয়া ফাইলের ব্যাপারে নিম্নলিখিত বিষয়গুলি মনে রাখবেন:

  • শুধুমাত্র ছোট ফাইল ইনলাইন ডেটা হিসেবে পাঠানো যেতে পারে কারণ মোট অনুরোধের সাইজের সীমা হল ২০ এমবি।

  • ট্রানজিটে ফাইলটি base64-এ এনকোড করা হয় (যা ফাইলের সাইজ বাড়ায়)।

ইনলাইন ডেটা হিসেবে কীভাবে ফাইল যোগ করতে হয় তার উদাহরণ দেখতে, টেক্সট-ও-ফাইল (মাল্টিমডেল) ইনপুট থেকে টেক্সট জেনারেট করুন দেখুন। মনে রাখবেন, Android এবং Apple প্ল্যাটফর্মের জন্য SDK, MIME-এর প্রকার উল্লেখ করার প্রয়োজন ছাড়াই অনুরোধে ইনলাইন ছবি ম্যানেজ করতে পারে। আরও জানুন।

বিকল্প ২: URL ব্যবহার করে ফাইল প্রদান করা

Agent Platform Gemini API (formerly Vertex AI) ব্যবহার করার সময় গ্রহণযোগ্য URL-এর ধরন এখানে দেওয়া হল:

  • Cloud Storageটি বাকেট:

    মনে রাখবেন, আপনি Firebase AI Logic-এর সাথে যে প্রোজেক্ট ব্যবহার করছেন, বাকেটটি যদি তার থেকে আলাদা প্রোজেক্টে থাকে, তাহলে URL-এর জন্য https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE ফর্ম্যাট ব্যবহার করুন।

  • ব্রাউজার/HTTP URL: ফাইল URL সর্বজনীনভাবে পাঠযোগ্য হতে হবে। উদাহরণ হিসেবে মিডিয়া-হোস্টিং সাইটের URL, সরাসরি মিডিয়া দেখায় এমন URL (মিডিয়া হোস্ট করে এমন ওয়েবপেজ নয়) অথবা প্রকাশিত Google Drive বা Google Workspace ফাইলের কথা বলা যেতে পারে।

  • YouTube ভিডিও URL: YouTube ভিডিওটি অবশ্যই সর্বজনীন বা তালিকাভুক্ত নয় হতে হবে।

Google Cloud ডকুমেন্টেশনে URL-এর জন্য প্রয়োজনীয়তা সম্পর্কে আরও জানুন।


ছবি: প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ছবি: প্রয়োজনীয়তা

এই বিভাগে, ছবির জন্য কাজ করে এমন MIME-এর প্রকার এবং প্রতিটি অনুরোধের সীমা সম্পর্কে জানুন।

কাজ করে এমন MIME-এর ধরন

Gemini মাল্টিমডেল মডেলে নিম্নলিখিত ছবির MIME-এর প্রকার কাজ করে:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

অনুরোধ প্রতি সীমা

কোনও ছবিতে পিক্সেলের সংখ্যার নির্দিষ্ট কোনও সীমা নেই। তবে, বড় ছবিকে স্কেল ডাউন ও প্যাড করা হয় যাতে আসল অ্যাস্পেক্ট রেশিও বজায় রেখে ৩০৭২ x ৩০৭২-এর সর্বাধিক রেজোলিউশনে ফিট করা যায়।

প্রতিটি অনুরোধে সর্বাধিক ফাইলের সংখ্যা: ৩,০০০টি ছবির ফাইল

ছবি: টোকেনাইজেশন

ছবির জন্য টোকেন কীভাবে গণনা করা হয় তা এখানে দেওয়া হল:

  • কোনও ছবির দুটি ডাইমেনশনই ৩৮৪ পিক্সেলের কম বা সমান হলে, ২৫৮টি টোকেন ব্যবহার করা হয়।
  • ছবির কোনও একটি ডাইমেনশন ৩৮৪ পিক্সেলের বেশি হলে, ছবিটি টাইল হিসেবে ক্রপ করা হয়। প্রতিটি টাইল সাইজ ডিফল্ট হিসেবে সবচেয়ে ছোট ডাইমেনশন (প্রস্থ বা উচ্চতা) ১.৫ দিয়ে ভাগ করে পাওয়া যায়। প্রয়োজন হলে, প্রতিটি টাইল অ্যাডজাস্ট করা হয় যাতে এটি ২৫৬ পিক্সেলের থেকে ছোট এবং ৭৬৮ পিক্সেলের থেকে বড় না হয়। তারপর প্রতিটি টাইল 768x768 সাইজে পরিবর্তন করা হয় এবং ২৫৮টি টোকেন ব্যবহার করে।

ছবি: পেশাদার পদ্ধতি

ছবি ব্যবহার করার সময়, সেরা ফলাফল পেতে নিম্নলিখিত পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনি যদি কোনও ছবিতে টেক্সট শনাক্ত করতে চান, তাহলে একাধিক ছবি সহ প্রম্পটের চেয়ে আরও ভালো ফলাফল পেতে একটি ছবি সহ প্রম্পট ব্যবহার করুন।
  • আপনার প্রম্পটে একটি ছবি থাকলে, আপনার অনুরোধে টেক্সট প্রম্পটের আগে ছবিটি রাখুন।
  • আপনার প্রম্পটে একাধিক ছবি থাকলে এবং আপনি পরে প্রম্পটে সেগুলির উল্লেখ করতে চাইলে অথবা মডেলকে তার উত্তরে সেগুলির উল্লেখ করতে বলতে চাইলে, প্রতিটি ছবির আগে একটি করে ইন্ডেক্স দিলে সুবিধা হতে পারে। আপনার ইনডেক্সের জন্য a b c অথবা image 1 image 2 image 3 ব্যবহার করুন। প্রম্পটে ইন্ডেক্স করা ছবি ব্যবহার করার উদাহরণ নিচে দেওয়া হল: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • আরও বেশি রেজোলিউশন সহ ছবি ব্যবহার করুন; এগুলি আরও ভালো ফলাফল দেয়।
  • প্রম্পটে কয়েকটি উদাহরণ যোগ করুন।
  • প্রম্পটে যোগ করার আগে ছবিগুলিকে সঠিক ওরিয়েন্টেশনে ঘুরিয়ে নিন।
  • অস্পষ্ট ছবি ব্যবহার করবেন না।

ছবি: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলগুলির সীমাবদ্ধতা বোঝা গুরুত্বপূর্ণ:

  • কন্টেন্ট মডারেশন: আমাদের নিরাপত্তা নীতি লঙ্ঘন করে এমন ছবির ক্ষেত্রে মডেল উত্তর দিতে অস্বীকার করে।
  • স্থানিক যুক্তি: মডেলগুলি ছবিতে টেক্সট বা অবজেক্টের লোকেশন নির্ণয় করার ক্ষেত্রে নিখুঁত নয়। এগুলি শুধু অবজেক্টের আনুমানিক সংখ্যা ফেরত দিতে পারে।
  • মেডিকেল সংক্রান্ত ব্যবহার: মডেলগুলি মেডিকেল ইমেজ (যেমন, এক্স-রে এবং সিটি স্ক্যান) ব্যাখ্যা করার জন্য বা মেডিকেল পরামর্শ দেওয়ার জন্য উপযুক্ত নয়।
  • লোকজন শনাক্তকরণ: ছবিতে সেলিব্রিটি নন এমন লোকজনকে শনাক্ত করার জন্য মডেল ব্যবহার করা হয় না।
  • সঠিকতা: খারাপ কোয়ালিটি, ঘোরানো বা অত্যন্ত কম রেজোলিউশনের ছবি ব্যাখ্যা করার সময় মডেল হ্যালুসিনেট করতে বা ভুল করতে পারে। এছাড়াও, ছবি ও ডকুমেন্টে হাতে লেখা টেক্সট ব্যাখ্যা করার সময় মডেল হ্যালুসিনেট করতে পারে।


ভিডিও: প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ভিডিও: প্রয়োজনীয়তা

এই বিভাগে, ভিডিওর জন্য প্রতিটি অনুরোধে কাজ করে এমন MIME-এর প্রকার এবং সীমা সম্পর্কে জানুন।

কাজ করে এমন MIME-এর ধরন

Gemini মাল্টিমডেল মডেল নিম্নলিখিত ভিডিও MIME-এর প্রকার সাপোর্ট করে:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

অনুরোধ প্রতি সীমা

প্রতিটি অনুরোধে সর্বাধিক ফাইলের সংখ্যা: ১০টি ভিডিও ফাইল

ভিডিও: টোকেনাইজেশন

ভিডিওর জন্য টোকেন কীভাবে গণনা করা হয় তা এখানে দেওয়া হল:

  • অডিও ট্র্যাক ভিডিও ফ্রেমের সাথে এনকোড করা আছে। এছাড়াও, অডিও ট্র্যাক ১-সেকেন্ডের ট্রাঙ্কে বিভক্ত করা হয়, যার প্রতিটি ৩২টি টোকেন হিসেবে গণ্য হয়। ভিডিও ফ্রেম ও অডিও টোকেন তাদের টাইমস্ট্যাম্পের সাথে একসাথে ইন্টারলিভ করা হয়। টাইমস্ট্যাম্প ৫টি টোকেন হিসেবে দেখানো হয়।
  • ১ ফ্রেম প্রতি সেকেন্ড (fps) বা তার কম রেটে স্যাম্পেল করা ভিডিওর ক্ষেত্রে, ভিডিওর প্রথম ঘণ্টার টাইমস্ট্যাম্প ভিডিও ফ্রেম প্রতি ৫টি টোকেন হিসেবে দেখানো হয়। বাকি টাইমস্ট্যাম্পগুলি ভিডিও ফ্রেম প্রতি ৭টি টোকেন হিসেবে উপস্থাপিত হয়।
  • প্রতি সেকেন্ডে ১ ফ্রেমের (fps) বেশি স্যাম্পেল করা ভিডিওর ক্ষেত্রে, ভিডিওর প্রথম ঘণ্টার টাইমস্ট্যাম্প ভিডিও ফ্রেম প্রতি ৯টি টোকেন হিসেবে দেখানো হয়। বাকি টাইমস্ট্যাম্পগুলি ভিডিও ফ্রেম প্রতি ১১টি টোকেন হিসেবে দেখানো হয়।

ভিডিও: পেশাদার পদ্ধতি

ভিডিও ব্যবহার করার সময়, সেরা ফলাফল পেতে নিম্নলিখিত পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনার প্রম্পটে একটি ভিডিও থাকলে, টেক্সট প্রম্পটের আগে ভিডিওটি রাখুন।
  • অডিও সহ কোনও ভিডিওতে টাইমস্ট্যাম্প লোকালাইজেশনের প্রয়োজন হলে, মডেলকে "টাইমস্ট্যাম্প ফর্ম্যাট"-এ বর্ণিত ফর্ম্যাট অনুযায়ী টাইমস্ট্যাম্প জেনারেট করতে বলুন।

ভিডিও: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলগুলির সীমাবদ্ধতা বোঝা গুরুত্বপূর্ণ:

  • কন্টেন্ট মডারেশন: আমাদের নিরাপত্তা নীতি লঙ্ঘন করে এমন ভিডিওর ক্ষেত্রে মডেল উত্তর দিতে অস্বীকার করে।
  • স্পিচ নয় এমন সাউন্ড শনাক্তকরণ: অডিও সাপোর্ট করে এমন মডেল স্পিচ নয় এমন সাউন্ড শনাক্ত করার সময় ভুল করতে পারে।


অডিও: প্রয়োজনীয়তা ও সীমাবদ্ধতা

অডিও: প্রয়োজনীয়তা

এই বিভাগে, অডিওর জন্য কাজ করে এমন MIME-এর প্রকার এবং প্রতিটি অনুরোধের সীমা সম্পর্কে জানুন।

কাজ করে এমন MIME-এর ধরন

Gemini মাল্টিমডেল মডেলে নিম্নলিখিত অডিও MIME-এর প্রকার কাজ করে:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

অনুরোধ প্রতি সীমা

প্রতিটি অনুরোধে সর্বাধিক ফাইলের সংখ্যা: ১টি অডিও ফাইল

অডিও: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলগুলির সীমাবদ্ধতা বোঝা গুরুত্বপূর্ণ:

  • স্পিচ নয় এমন সাউন্ড শনাক্তকরণ: অডিও সাপোর্ট করে এমন মডেল স্পিচ নয় এমন সাউন্ড শনাক্ত করার সময় ভুল করতে পারে।
  • শুধুমাত্র-অডিও টাইমস্ট্যাম্প: শুধুমাত্র-অডিও ফাইলের জন্য সঠিকভাবে টাইমস্ট্যাম্প তৈরি করতে, আপনাকে অবশ্যই generation_config-এ audio_timestamp প্যারামিটার কনফিগার করতে হবে।


ডকুমেন্ট (যেমন পিডিএফ): প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ডকুমেন্ট: প্রয়োজনীয়তা

এই বিভাগে, ডকুমেন্টের (যেমন, PDF) জন্য কাজ করে এমন MIME-এর ধরন এবং প্রতিটি অনুরোধের সীমা সম্পর্কে জানুন।

কাজ করে এমন MIME-এর ধরন

Gemini মাল্টিমডেল মডেলে নিম্নলিখিত ডকুমেন্ট MIME টাইপ কাজ করে:

  • PDF - application/pdf
  • টেক্সট - text/plain

অনুরোধ প্রতি সীমা

পিডিএফকে ছবি হিসেবে বিবেচনা করা হয়, তাই পিডিএফের একটি পৃষ্ঠাকে একটি ছবি হিসেবে বিবেচনা করা হয়। একটি প্রম্পটে অনুমোদিত পৃষ্ঠার সংখ্যা Gemini মাল্টিমডেল মডেল যতগুলি ছবি সাপোর্ট করতে পারে তার মধ্যে সীমাবদ্ধ।

  • প্রতিটি অনুরোধে সর্বাধিক ফাইলের সংখ্যা: ৩,০০০টি ফাইল
  • ফাইল প্রতি সর্বাধিক পৃষ্ঠা: ফাইল প্রতি ১,০০০ পৃষ্ঠা
  • প্রতি ফাইলের সর্বাধিক সাইজ: প্রতি ফাইল ৫০ এমবি

ডকুমেন্ট: টোকেনাইজেশন

পিডিএফ টোকেনাইজেশন

PDF-কে ছবি হিসেবে বিবেচনা করা হয়, তাই PDF-এর প্রতিটি পৃষ্ঠাকে ছবির মতোই টোকেনাইজ করা হয়।

এছাড়াও, পিডিএফের খরচ Gemini ছবির দাম অনুযায়ী হয়। যেমন, আপনি Gemini API কলে দুই পৃষ্ঠার PDF অন্তর্ভুক্ত করলে, দুটি ছবি প্রসেস করার জন্য ইনপুট ফি দিতে হবে।

ডকুমেন্ট: পেশাদার পদ্ধতি

পিডিএফ ব্যবহার করার সময়, সেরা ফলাফল পেতে নিম্নলিখিত পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনার প্রম্পটে একটিমাত্র PDF থাকলে, আপনার অনুরোধে টেক্সট প্রম্পটের আগে PDF রাখুন।
  • আপনার কাছে কোনও বড় ডকুমেন্ট থাকলে, সেটি প্রসেস করার জন্য একাধিক PDF-এ বিভক্ত করার কথা বিবেচনা করুন।
  • স্ক্যান করা ছবিতে টেক্সট ব্যবহার করার পরিবর্তে টেক্সট হিসেবে রেন্ডার করা টেক্সট সহ তৈরি করা পিডিএফ ব্যবহার করুন। এই ফর্ম্যাট নিশ্চিত করে যে টেক্সট মেশিনের ক্ষেত্রে গ্রহণযোগ্য যাতে স্ক্যান করা ইমেজ পিডিএফের তুলনায় মডেলের পক্ষে এডিট, সার্চ ও ম্যানিপুলেট করা সহজ হয়। চুক্তির মতো টেক্সট-ভারী ডকুমেন্টের সাথে কাজ করার সময় এই পদ্ধতিটি সর্বোত্তম ফলাফল প্রদান করে।

ডকুমেন্ট: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলগুলির সীমাবদ্ধতা বোঝা গুরুত্বপূর্ণ:

  • স্পেশিয়াল রিজনিং: পিডিএফ-এ টেক্সট বা অবজেক্টের লোকেশন নির্ণয় করার ক্ষেত্রে মডেলগুলি নিখুঁত নয়। এগুলি শুধু অবজেক্টের আনুমানিক সংখ্যা ফেরত দিতে পারে।
  • নির্ভুলতা: PDF ডকুমেন্টে হাতে লেখা টেক্সট ব্যাখ্যা করার সময় মডেল হ্যালুসিনেট করতে পারে।