Gemini মডেলগুলি টোকেন নামক ইউনিটে ইনপুট ও আউটপুট প্রসেস করে।
টোকেন z-এর মতো একটি অক্ষর বা cat-এর মতো সম্পূর্ণ শব্দ হতে পারে। বড় শব্দ
একাধিক টোকেনে ভেঙে দেওয়া হয়। মডেলের ব্যবহার করা সব টোকেনের সেটকে
শব্দভাণ্ডার বলা হয় এবং টেক্সটকে টোকেনে ভাগ করার প্রসেসকে
টোকেনাইজেশন বলা হয়।
Gemini মডেলের ক্ষেত্রে, একটি টোকেন প্রায় ৪টি অক্ষরের সমান। ১০০টি টোকেন প্রায় ৬০-৮০টি ইংরেজি শব্দের সমান।
প্রতিটি মডেলের একটি সর্বাধিক টোকেন সংখ্যা থাকে যা এটি প্রম্পট ও উত্তরে হ্যান্ডেল করতে পারে। আপনার প্রম্পটের টোকেন সংখ্যা জানলে, আপনি এই সীমা অতিক্রম করেছেন কিনা তা জানতে পারবেন। এছাড়াও, কোনও অনুরোধের খরচ ইনপুট ও আউটপুট টোকেনের সংখ্যার উপর নির্ভর করে, তাই টোকেন কীভাবে গণনা করতে হয় তা জানলে সুবিধা হয়।
মানানসই মডেল
gemini-3.1-pro-previewgemini-3.8-flash(এবং এর আগেরgemini-3.7-flash,gemini-3.6-flashওgemini-3.5-flash)gemini-3.5-flash-lite(এবং পুরনোgemini-3.1-flash-lite)gemini-3-pro-image(ওরফে "Nano Banana Pro")gemini-3.1-flash-image(ওরফে "Nano Banana 2")gemini-3.1-flash-lite-image(ওরফে "Nano Banana 2 Lite")gemini-3.1-flash-tts-preview
সাধারণ ব্যবহার ও ছবি জেনারেট করা Gemini 2.5 মডেল এই ক্ষমতাকে সমর্থন করে, কিন্তু সেগুলি সব বাতিল করা হয়েছে।
টোকেন গণনা করার বিকল্প
Gemini API-এর জন্য সমস্ত ইনপুট ও আউটপুট টোকেনাইজ করা হয়, এর মধ্যে টেক্সট, ছবি ফাইল ও অন্যান্য নন-টেক্সট মোডালিটি অন্তর্ভুক্ত। টোকেন গণনা করার বিকল্পগুলি এখানে দেওয়া হল:
- আপনার অনুরোধের টোকেন সংখ্যা চেক করুন (মডেলকে পাঠানোর আগে )।
- মডেলকে পাঠানোর আগে ইনপুট সহ
countTokensকল করুন অনুরোধ করুন। এটি রিটার্ন করে:total_tokens: শুধুমাত্র ইনপুটের টোকেন সংখ্যা
- আপনার অনুরোধ ও উত্তর দুটিরই টোকেন সংখ্যা চেক করুন।
- রেসপন্স অবজেক্টে
usageMetadataঅ্যাট্রিবিউট অ্যাক্সেস করুন। এর মধ্যে এগুলি অন্তর্ভুক্ত:prompt_token_count: শুধুমাত্র ইনপুটের টোকেন সংখ্যাcandidates_token_count: শুধুমাত্র আউটপুটের টোকেন সংখ্যা (এর মধ্যে থিঙ্কিং টোকেন অন্তর্ভুক্ত নয়)thoughts_token_count: উত্তর তৈরি করার জন্য ব্যবহৃত যেকোনও থিঙ্কিং টোকেনের টোকেন সংখ্যাtotal_token_count: ইনপুট ও আউটপুটের দুটিরই মোট টোকেনের সংখ্যা (এর মধ্যে যেকোনও থিঙ্কিং টোকেন অন্তর্ভুক্ত)
স্ট্রিমিং আউটপুট করার সময়,
usageMetadataঅ্যাট্রিবিউট শুধুমাত্র স্ট্রিমের শেষ চঙ্কে দেখা যায়। ইন্টারমিডিয়েট চঙ্কের জন্যnilহিসেবে সেট করা আছে।
উপরের বিকল্পগুলি সম্পর্কে নিম্নলিখিত বিষয়গুলি মনে রাখবেন:
- ইনপুট ছবি বা ভিডিও বা অডিও ইনপুট ফাইলের সেকেন্ডের সংখ্যা তারা গণনা করবে না। তবে, এইসব মোডালিটির প্রতিটি টোকেন সংখ্যা এইসব ভ্যালুর সাথে সম্পর্কিত হবে।
- ইনপুট টোকেন গণনার মধ্যে প্রম্পট (টেক্সট ও যেকোনও ইনপুট ফাইল) এবং সিস্টেমের যেকোনও নির্দেশাবলী ও টুল অন্তর্ভুক্ত।
- আউটপুট টোকেন গণনার মধ্যে কোনও থিঙ্কিং টোকেন অন্তর্ভুক্ত থাকে না; সেগুলি আলাদা ফিল্ডে প্রদান করা হয়।
- এই পৃষ্ঠায় পরে প্রতিটি ধরনের অনুরোধের জন্য নির্দিষ্ট অতিরিক্ত তথ্য পর্যালোচনা করুন।
- Gemini Live API মডেলে
countTokensকাজ করে না। এছাড়াও, Firebase AI Logic এখনও Live API মডেলের দেওয়া উত্তরে সেইusageMetadataঅ্যাট্রিবিউটকে সাপোর্ট করে না তবে শীঘ্রই এটি চালু হতে চলেছে!
এইসব বিকল্পের দাম
countTokens-এ কল করা:countTokens(Count Tokens API)-এ কল করার জন্য কোনও চার্জ লাগে না। Count Tokens API-এর সর্বাধিক কোটা হল প্রতি মিনিটে ৩০০ অনুরোধ (RPM)।usageMetadataঅ্যাট্রিবিউট ব্যবহার করা: এই অ্যাট্রিবিউট সবসময় উত্তরের অংশ হিসেবে ফেরত দেওয়া হয় এবং এর জন্য কোনও টোকেন বা চার্জ লাগে না।
অতিরিক্ত তথ্য
নির্দিষ্ট ধরনের অনুরোধের সাথে কাজ করার সময় এখানে কিছু অতিরিক্ত তথ্য দেওয়া হল।
টেক্সট ইনপুট টোকেন গণনা করা
কোনও অতিরিক্ত তথ্য নেই।
মাল্টি-টার্ন (চ্যাট) টোকেন গণনা করা
চ্যাট ব্যবহার করার সময় countTokens কল করার জন্য এগুলি মনে রাখবেন:
- আপনি চ্যাট ইতিহাসের সাথে
countTokens-এ কল করলে, এটি চ্যাটের (total_tokens) দুটি ভূমিকা থেকে মোট টোকেন সংখ্যা রিটার্ন করে। - আপনার পরবর্তী কথোপকথন কত বড় হবে তা বুঝতে, আপনাকে
countTokensকল করার সময় সেটি ইতিহাসের সাথে যোগ করতে হবে।
মাল্টিমোডাল ইনপুট টোকেন গণনা করা
মাল্টিমোডাল ইনপুটের মাধ্যমে টোকেন গণনা করার ব্যাপারে নিম্নলিখিত বিষয়গুলি মনে রাখবেন:
- আপনি ঐচ্ছিকভাবে টেক্সট ও ফাইল আলাদা আলাদা করে
countTokens-কে কল করতে পারেন। - টোকেন গণনা করার দুটি বিকল্পের ক্ষেত্রেই, আপনি ফাইলটি ইনলাইন ডেটা হিসেবে দিন বা URL ব্যবহার করে দিন, টোকেনের সংখ্যা একই হবে।
ইনপুট ইমেজ ফাইল
ছবির ইনপুট ফাইলকে তার ডায়মেনশনের ভিত্তিতে টোকেনে কনভার্ট করা হয়:
- ৩৮৪ পিক্সেলের সমান বা তার কম দুটি ডাইমেনশন সহ ইনপুট ছবি: প্রতিটি ছবিকে ২৫৮টি টোকেন হিসেবে গণনা করা হয়।
- এক বা উভয় ডাইমেনশনে বড় ইনপুট ছবি: প্রতিটি ছবিকে প্রয়োজনমতো ক্রপ ও স্কেল করে ৭৬৮x৭৬৮ পিক্সেলের টাইলসে ভাগ করা হয় এবং তারপরে প্রতিটি টাইলকে ২৫৮টি টোকেন হিসেবে গণনা করা হয়।
ভিডিও ও অডিও ইনপুট ফাইল
ভিডিও ও অডিও ইনপুট ফাইলকে নিম্নলিখিত নির্দিষ্ট রেটে টোকেনে কনভার্ট করা হয়:
- ভিডিও: প্রতি সেকেন্ডে ২৬৩টি টোকেন
- অডিও: প্রতি সেকেন্ডে ৩২টি টোকেন
ইনপুট ফাইল হিসেবে ডকুমেন্ট (যেমন, PDF)
পিডিএফ ইনপুট ফাইলকে ছবি হিসেবে বিবেচনা করা হয়, তাই পিডিএফের প্রতিটি পৃষ্ঠা ছবি হিসেবে একই পদ্ধতিতে টোকেনাইজ করা হয়।