ইনপুট ফাইল ও প্রয়োজনীয়তা

Firebase AI Logic SDK ব্যবহার করে আপনার অ্যাপ থেকে Gemini API কল করার সময়, আপনি Gemini মডেলকে মাল্টিমোডাল ইনপুটের উপর ভিত্তি করে টেক্সট জেনারেট করতে প্রম্পট করতে পারেন, যেমন ছবি, ভিডিও ও অডিও এবং ডকুমেন্ট (যেমন PDF)।

আপনাকে কাজ করে এমন ফাইলের ধরন ব্যবহার করতে হবে, কাজ করে এমন MIME-এর ধরন নির্দিষ্ট করতে হবে এবং নিশ্চিত করতে হবে যে আপনার ফাইল ও মাল্টিমোডাল অনুরোধ যেন প্রয়োজনীয়তা পূরণ করে এবং পেশাদার পদ্ধতি মেনে চলে।

এই পৃষ্ঠাটি GenerativeModel ব্যবহারের জন্য নির্দিষ্ট এবং এতে নিম্নলিখিত বিষয়গুলি বর্ণনা করা হয়েছে:

মাল্টিমোডাল অনুরোধে ফাইল প্রদান করার বিকল্প

এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট কন্টেন্ট দেখতে আপনার Gemini API প্রদানকারী বেছে নিন

প্রতিটি মাল্টিমোডাল অনুরোধে, আপনাকে অবশ্যই নিম্নলিখিত তথ্য প্রদান করতে হবে:

অনুরোধে আপনি যে ফাইলের সাইজ ও সংখ্যা প্রদান করতে পারবেন তা ইনপুট ফাইলের ধরন, আপনি কীভাবে ফাইল প্রদান করেন এবং ব্যবহৃত মডেলের দ্বারা নির্ধারিত হয় (বিস্তারিত বিবরণের জন্য, এই পৃষ্ঠায় প্রতিটি ইনপুট ফাইলের ধরন দেখুন)।

বিকল্প ১: ইনলাইন ডেটা হিসেবে ফাইল প্রদান করুন

ইনলাইন ডেটা হিসেবে প্রদান করা ফাইল সম্পর্কে নিম্নলিখিত বিষয়গুলি মনে রাখবেন:

  • ইনলাইন ডেটা হিসেবে শুধুমাত্র ছোট ফাইল পাঠানো যেতে পারে কারণ মোট অনুরোধের সাইজ সীমা হল ২০ এমবি।

  • ট্রানজিটে ফাইলটি base64-এ এনকোড করা হয় (এর ফলে ফাইলের সাইজ বেড়ে যায়)।

ইনলাইন ডেটা হিসেবে কীভাবে ফাইল যোগ করতে হয় তার উদাহরণ দেখতে, টেক্সট ও ফাইল (মাল্টিমোডাল) ইনপুট থেকে টেক্সট জেনারেট করো দেখুন। মনে রাখবেন, Android ও Apple প্ল্যাটফর্মের SDK, MIME টাইপ উল্লেখ করার প্রয়োজন ছাড়াই অনুরোধে ইনলাইন ছবি ম্যানেজ করতে পারে। আরও জানুন।

বিকল্প ২: URL ব্যবহার করে ফাইল প্রদান করুন

Gemini Developer API ব্যবহার করার সময় URL-এর গ্রহণযোগ্য ধরনগুলি এখানে দেওয়া হল:


ছবি: প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ছবি: প্রয়োজনীয়তা

এই বিভাগে, ছবি সংক্রান্ত অনুরোধের জন্য মানানসই MIME ধরন ও সীমা সম্পর্কে জানুন।

যেসব MIME-এর ধরন কাজ করে

Gemini মাল্টিমোডাল মডেলে নিম্নলিখিত ছবির MIME ধরন কাজ করে:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

অনুরোধ পিছু সীমা

কোনও ছবিতে পিক্সেলের সংখ্যার কোনও নির্দিষ্ট সীমা নেই। তবে, বড় ছবিগুলি স্কেল ডাউন করা হয় এবং সেগুলিকে আসল অ্যাস্পেক্ট রেশিও বজায় রেখে সর্বাধিক ৩০৭২ x ৩০৭২ রেজোলিউশনে ফিট করার জন্য প্যাডিং করা হয়।

প্রতিটি অনুরোধে সর্বাধিক ফাইল: ৩,০০০টি ছবির ফাইল

ছবি: টোকেনাইজেশন

ছবির জন্য কীভাবে টোকেন গণনা করা হয় তা এখানে দেওয়া হল:

  • কোনও ছবির দুটি ডাইমেনশনই ৩৮৪ পিক্সেলের সমান বা তার কম হলে, ২৫৮টি টোকেন ব্যবহার করা হয়।
  • কোনও ছবির একটি দিক ৩৮৪ পিক্সেলের বেশি হলে, ছবিটিকে টাইলে ক্রপ করা হয়। প্রতিটি টাইল সাইজ ডিফল্ট হিসেবে সবচেয়ে ছোট ডাইমেনশন (প্রস্থ বা উচ্চতা) ১.৫ দিয়ে ভাগ করা হয়। প্রয়োজন হলে, প্রতিটি টাইল অ্যাডজাস্ট করা হয় যাতে এটি ২৫৬ পিক্সেলের চেয়ে ছোট এবং ৭৬৮ পিক্সেলের চেয়ে বড় না হয়। তারপরে, প্রতিটি টাইলকে ৭৬৮x৭৬৮ সাইজে রিসাইজ করা হয় এবং ২৫৮টি টোকেন ব্যবহার করা হয়।

ছবি: পেশাদার পদ্ধতি

ছবি ব্যবহার করার সময়, সবচেয়ে ভালো ফলাফল পেতে নিম্নলিখিত পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনি যদি কোনও ছবিতে টেক্সট শনাক্ত করতে চান, তাহলে একাধিক ছবি সহ প্রম্পটের চেয়ে একটি ছবি সহ প্রম্পট ব্যবহার করে আরও ভালো ফলাফল পান।
  • আপনার প্রম্পটে একটি ছবি থাকলে, আপনার অনুরোধে টেক্সট প্রম্পটের আগে ছবিটি রাখুন ।
  • আপনার প্রম্পটে একাধিক ছবি থাকলে এবং আপনি যদি পরে প্রম্পটে সেগুলির রেফারেন্স দিতে চান অথবা মডেলের উত্তরে মডেলের মাধ্যমে সেগুলির রেফারেন্স দিতে চান, তাহলে প্রতিটি ছবির আগে একটি ইন্ডেক্স দিলে তা সাহায্য করতে পারে। আপনার ইনডেক্সের জন্য a b c অথবা image 1 image 2 image 3 ব্যবহার করুন। নিচে একটি প্রম্পটে ইন্ডেক্স করা ছবি ব্যবহারের উদাহরণ দেওয়া হল: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • আরও ভালো রেজোলিউশনের ছবি ব্যবহার করুন; এগুলি আরও ভালো ফলাফল দেয়।
  • প্রম্পটে কয়েকটি উদাহরণ যোগ করুন।
  • প্রম্পটে যোগ করার আগে ছবিগুলি সঠিক ওরিয়েন্টেশনে রোটেট করে নিন।
  • অস্পষ্ট ছবি এড়িয়ে চলুন।

ছবি: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলের সীমাবদ্ধতাগুলি বোঝা গুরুত্বপূর্ণ:

  • কন্টেন্ট মডারেশন: আমাদের নিরাপত্তা নীতি লঙ্ঘন করে এমন ছবি সম্পর্কে মডেল উত্তর দিতে অস্বীকার করে।
  • স্থানিক যুক্তি: মডেলগুলি ছবিতে টেক্সট বা অবজেক্টের লোকেশন সঠিকভাবে শনাক্ত করতে পারে না। তারা শুধুমাত্র অবজেক্টের আনুমানিক সংখ্যা ফেরাতে পারে।
  • মেডিকেল ব্যবহার: মডেলগুলি মেডিকেল ছবি (যেমন, এক্স-রে ও সিটি স্ক্যান) বিশ্লেষণ করা বা মেডিকেল পরামর্শ দেওয়ার জন্য উপযুক্ত নয়।
  • লোকজন শনাক্তকরণ: মডেলগুলি এমন লোকজনকে শনাক্ত করার জন্য ব্যবহার করা হয় না যারা ছবিতে সেলিব্রিটি নন।
  • সঠিকতা: মডেলগুলি হ্যালুসিনেশন করতে পারে বা ভুল করতে পারে যখন খারাপ কোয়ালিটি, রোটেট করা বা অত্যন্ত কম রেজোলিউশনের ছবি ব্যাখ্যা করে। এছাড়াও, ছবি ও ডকুমেন্টে হাতের লেখা টেক্সট ব্যাখ্যা করার সময় মডেল হ্যালুসিনেশন করতে পারে।


ভিডিও: প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ভিডিও: প্রয়োজনীয়তা

এই বিভাগে, ভিডিওর জন্য মানানসই MIME ধরন এবং অনুরোধ পিছু সীমা সম্পর্কে জানুন।

যেসব MIME-এর ধরন কাজ করে

Gemini মাল্টিমোডাল মডেল নিম্নলিখিত ভিডিও MIME-এর ধরন সাপোর্ট করে:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

অনুরোধ পিছু সীমা

প্রতিটি অনুরোধে সর্বাধিক ফাইল: ১০টি ভিডিও ফাইল

ভিডিও: টোকেনাইজেশন

ভিডিওর জন্য কীভাবে টোকেন গণনা করা হয় তা এখানে দেওয়া হল:

  • ভিডিও ফ্রেমের সাথে অডিও ট্র্যাক এনকোড করা হয়। এছাড়াও, অডিও ট্র্যাককে ১-সেকেন্ডের ট্রাঙ্কে ভাগ করা হয়েছে, যার প্রত্যেকটি ৩২টি টোকেনের সমান। ভিডিও ফ্রেম ও অডিও টোকেন একসাথে ইন্টারলিভ করা হয় এবং সেগুলির টাইমস্ট্যাম্পও থাকে। টাইমস্ট্যাম্প ৫টি টোকেন হিসেবে দেখানো হয়।
  • ১ ফ্রেম প্রতি সেকেন্ড (fps) বা তার কম রেটে স্যাম্পেল করা ভিডিওর ক্ষেত্রে, ভিডিওর প্রথম ঘণ্টার টাইমস্ট্যাম্পকে ভিডিও ফ্রেম পিছু ৫টি টোকেন হিসেবে দেখানো হয়। বাকি টাইমস্ট্যাম্পগুলি প্রতিটি ভিডিও ফ্রেমের জন্য ৭টি টোকেন হিসেবে উপস্থাপন করা হয়।
  • ১ ফ্রেম প্রতি সেকেন্ড (fps)-এর বেশি স্যাম্পেল করা ভিডিওর ক্ষেত্রে, ভিডিওর প্রথম ঘণ্টার টাইমস্ট্যাম্প প্রতি ভিডিও ফ্রেমে ৯টি টোকেন হিসেবে দেখানো হয়। বাকি টাইমস্ট্যাম্পগুলি ভিডিও ফ্রেম পিছু ১১টি টোকেন হিসেবে দেখানো হয়।

ভিডিও: পেশাদার পদ্ধতি

ভিডিও ব্যবহার করার সময়, সবচেয়ে ভালো ফলাফল পেতে নিচে উল্লেখ করা পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনার প্রম্পটে একটি ভিডিও থাকলে, টেক্সট প্রম্পটের আগে ভিডিওটি রাখুন।
  • অডিও সহ ভিডিওতে টাইমস্ট্যাম্পের লোকালাইজেশন প্রয়োজন হলে, মডেলকে "টাইমস্ট্যাম্প ফর্ম্যাট" বিভাগে বর্ণিত ফর্ম্যাট মেনে টাইমস্ট্যাম্প তৈরি করতে বলুন।

ভিডিও: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলের সীমাবদ্ধতাগুলি বোঝা গুরুত্বপূর্ণ:

  • কন্টেন্ট মডারেশন: আমাদের নিরাপত্তা নীতি লঙ্ঘন করে এমন ভিডিও সম্পর্কে মডেল উত্তর দিতে অস্বীকার করে।
  • কথা নয় এমন শব্দ শনাক্তকরণ: যে মডেলগুলি অডিওতে কাজ করে, সেগুলি কথা নয় এমন শব্দ শনাক্ত করতে ভুল করতে পারে।


অডিও: প্রয়োজনীয়তা ও সীমাবদ্ধতা

অডিও: প্রয়োজনীয়তা

এই বিভাগে, অডিওর জন্য প্রতি অনুরোধে কাজ করে এমন MIME-এর ধরন ও সীমা সম্পর্কে জানুন।

যেসব MIME-এর ধরন কাজ করে

Gemini মাল্টিমোডাল মডেল নিম্নলিখিত অডিও MIME ধরন সাপোর্ট করে:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

অনুরোধ পিছু সীমা

প্রতিটি অনুরোধে সর্বাধিক ফাইল: ১টি অডিও ফাইল

অডিও: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলের সীমাবদ্ধতাগুলি বোঝা গুরুত্বপূর্ণ:

  • কথা নয় এমন শব্দ শনাক্তকরণ: যে মডেলগুলি অডিওতে কাজ করে, সেগুলি কথা নয় এমন শব্দ শনাক্ত করতে ভুল করতে পারে।
  • শুধুমাত্র-অডিও টাইমস্ট্যাম্প: শুধুমাত্র-অডিও ফাইলের জন্য সঠিকভাবে টাইমস্ট্যাম্প তৈরি করতে, আপনাকে generation_config-এ audio_timestamp প্যারামিটার কনফিগার করতে হবে।


ডকুমেন্ট (যেমন, পিডিএফ): প্রয়োজনীয়তা, পেশাদার পদ্ধতি ও সীমাবদ্ধতা

ডকুমেন্ট: প্রয়োজনীয়তা

এই বিভাগে, ডকুমেন্ট (যেমন, PDF)-এর জন্য প্রতিটি অনুরোধে কাজ করে এমন MIME-এর ধরন ও সীমা সম্পর্কে জানুন।

যেসব MIME-এর ধরন কাজ করে

Gemini মাল্টিমোডাল মডেল নিম্নলিখিত ডকুমেন্ট MIME ধরন সাপোর্ট করে:

  • পিডিএফ - application/pdf
  • টেক্সট - text/plain

অনুরোধ পিছু সীমা

পিডিএফকে ছবি হিসেবে বিবেচনা করা হয়, তাই পিডিএফের একটি পৃষ্ঠা একটি ছবি হিসেবে বিবেচিত হয়। প্রম্পটে অনুমোদিত পৃষ্ঠার সংখ্যা, Gemini মাল্টিমোডাল মডেলের সাথে কাজ করতে পারে এমন ছবির সংখ্যার মধ্যে সীমাবদ্ধ।

  • প্রতিটি অনুরোধে সর্বাধিক ফাইল: ৩,০০০টি ফাইল
  • প্রতিটি ফাইলে সর্বাধিক পৃষ্ঠা: প্রতিটি ফাইলে ১,০০০ পৃষ্ঠা
  • প্রতিটি ফাইলের সর্বাধিক সাইজ: ৫০ এমবি

ডকুমেন্ট: টোকেনাইজেশন

পিডিএফ টোকেনাইজেশন

পিডিএফকে ছবি হিসেবে বিবেচনা করা হয়, তাই পিডিএফের প্রতিটি পৃষ্ঠা ছবি হিসেবে একই ভাবে টোকেনাইজ করা হয়।

এছাড়াও, PDF-এর খরচ Gemini ছবির দাম অনুযায়ী হয়। যেমন, আপনি Gemini API কলে দু'টি পৃষ্ঠার PDF যোগ করলে, দু'টি ছবি প্রসেস করার জন্য ইনপুট ফি দিতে হবে।

ডকুমেন্ট: পেশাদার পদ্ধতি

পিডিএফ ব্যবহার করার সময়, সবচেয়ে ভালো ফলাফল পেতে নিচে উল্লেখ করা পেশাদার পদ্ধতি ও তথ্য ব্যবহার করুন:

  • আপনার প্রম্পটে একটি PDF থাকলে, টেক্সটের আগে PDFটি রাখুন আপনার অনুরোধে প্রম্পট করুন।
  • আপনার ডকুমেন্টটি অনেক বড় হলে, সেটি প্রসেস করার জন্য একাধিক PDF-এ ভাগ করে নেওয়ার কথা বিবেচনা করুন।
  • স্ক্যান করা ছবি থেকে টেক্সট ব্যবহার করার পরিবর্তে, টেক্সট হিসেবে রেন্ডার করা টেক্সট দিয়ে তৈরি PDF ব্যবহার করুন। এই ফর্ম্যাট নিশ্চিত করে যে টেক্সট মেশিন-রিডেবল, যাতে স্ক্যান করা ইমেজ পিডিএফের তুলনায় মডেলের পক্ষে এটি এডিট, সার্চ ও ম্যানিপুলেট করা সহজ হয়। চুক্তির মতো টেক্সট-নির্ভর ডকুমেন্টের সাথে কাজ করার সময় এই পদ্ধতি সবচেয়ে ভালো ফলাফল দেয়।

ডকুমেন্ট: সীমাবদ্ধতা

Gemini মাল্টিমোডাল মডেলগুলি অনেক মাল্টিমোডাল ব্যবহারের ক্ষেত্রে শক্তিশালী হলেও, মডেলের সীমাবদ্ধতাগুলি বোঝা গুরুত্বপূর্ণ:

  • স্থানিক যুক্তি: মডেলগুলি PDF-এ টেক্সট বা অবজেক্ট লোকেট করার ব্যাপারে নিখুঁত নয়। তারা শুধুমাত্র অবজেক্টের আনুমানিক সংখ্যা ফেরাতে পারে।
  • নির্ভুলতা: PDF ডকুমেন্টে হাতে লেখা টেক্সট ব্যাখ্যা করার সময় মডেল হ্যালুসিনেশনের শিকার হতে পারে।