মিথুন মডেলের জন্য টোকেন গণনা করুন

জেমিনি মডেলগুলো টোকেন নামক এককে ইনপুট ও আউটপুট প্রক্রিয়াকরণ করে।

টোকেনগুলো z মতো একক অক্ষর অথবা cat মতো সম্পূর্ণ শব্দ হতে পারে। দীর্ঘ শব্দগুলোকে কয়েকটি টোকেনে বিভক্ত করা হয়। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভান্ডার বলা হয় এবং টেক্সটকে টোকেনে বিভক্ত করার প্রক্রিয়াকে টোকেনাইজেশন বলা হয়।

জেমিনি মডেলের ক্ষেত্রে, একটি টোকেন প্রায় ৪টি অক্ষরের সমান। ১০০টি টোকেন প্রায় ৬০-৮০টি ইংরেজি শব্দের সমান।

প্রতিটি মডেলের একটি প্রম্পট এবং রেসপন্সে পরিচালনা করার জন্য সর্বোচ্চ সংখ্যক টোকেন থাকে। আপনার প্রম্পটের টোকেন সংখ্যা জানা থাকলে আপনি এই সীমা অতিক্রম করেছেন কিনা তা জানতে পারবেন। এছাড়াও, একটি রিকোয়েস্টের খরচ আংশিকভাবে ইনপুট এবং আউটপুট টোকেনের সংখ্যার উপর নির্ভর করে, তাই টোকেন গণনা করার পদ্ধতি জানা সহায়ক হতে পারে।

সমর্থিত মডেল

• gemini-3.1-pro-preview
• gemini-3-flash-preview
• gemini-3.1-flash-lite-preview
• gemini-3-pro-image-preview
• gemini-3.1-flash-image-preview
• gemini-2.5-pro
• gemini-2.5-flash
• gemini-2.5-flash-lite
• gemini-2.0-flash-001 (এবং এর স্বয়ংক্রিয়ভাবে আপডেট হওয়া উপনাম gemini-2.0-flash )
• gemini-2.0-flash-lite-001 (এবং এর স্বয়ংক্রিয়ভাবে আপডেট হওয়া উপনাম gemini-2.0-flash-lite )

টোকেন গণনার বিকল্পগুলি

জেমিনি এপিআই- এর সমস্ত ইনপুট এবং আউটপুট টোকেনাইজ করা হয়, যার মধ্যে টেক্সট, ইমেজ ফাইল এবং অন্যান্য নন-টেক্সট মাধ্যম অন্তর্ভুক্ত। টোকেন গণনার জন্য বিকল্পগুলো নিচে দেওয়া হলো:

শুধুমাত্র আপনার অনুরোধগুলোর টোকেন সংখ্যা যাচাই করুন (মডেলে পাঠানোর আগে)।

মডেলে পাঠানোর আগে রিকোয়েস্টের ইনপুট দিয়ে countTokens কল করুন। এটি নিম্নলিখিত ফলাফল দেবে:

• total_tokens : শুধুমাত্র ইনপুটের টোকেন সংখ্যা

আপনার অনুরোধ এবং প্রতিক্রিয়া উভয়ের টোকেন সংখ্যা যাচাই করুন।

রেসপন্স অবজেক্টে usageMetadata অ্যাট্রিবিউটটি অ্যাক্সেস করুন। এর মধ্যে রয়েছে:

• prompt_token_count : শুধুমাত্র ইনপুটের টোকেন সংখ্যা
• candidates_token_count : শুধুমাত্র আউটপুটের টোকেন সংখ্যা (চিন্তাশীল টোকেন অন্তর্ভুক্ত নয়)
• thoughts_token_count : প্রতিক্রিয়া তৈরি করতে ব্যবহৃত যেকোনো চিন্তার টোকেনের সংখ্যা
• total_token_count : ইনপুট এবং আউটপুট উভয়ের জন্য মোট টোকেনের সংখ্যা (যেকোনো চিন্তাশীল টোকেন সহ)

আউটপুট স্ট্রিমিং করার সময়, usageMetadata অ্যাট্রিবিউটটি শুধুমাত্র স্ট্রিমের শেষ চাঙ্কে প্রদর্শিত হয়। মধ্যবর্তী চাঙ্কগুলোর জন্য এর nil ।

উপরের বিকল্পগুলো সম্পর্কে নিম্নলিখিত বিষয়গুলো লক্ষ্য করুন:

• তারা ইনপুট ইমেজের সংখ্যা অথবা ভিডিও বা অডিও ইনপুট ফাইলের সেকেন্ড সংখ্যা গণনা করবে না । তবে, এই প্রতিটি মোডালিটির জন্য টোকেন সংখ্যা এই মানগুলোর সাথে সঙ্গতিপূর্ণ হবে।
• ইনপুট টোকেন গণনার মধ্যে প্রম্পট (টেক্সট এবং যেকোনো ইনপুট ফাইল) এবং সেইসাথে যেকোনো সিস্টেম নির্দেশাবলী ও টুল অন্তর্ভুক্ত থাকে।
• আউটপুট টোকেন গণনায় কোনো থিঙ্কিং টোকেন অন্তর্ভুক্ত থাকে না; সেগুলো একটি পৃথক ফিল্ডে প্রদান করা হয়।
• এই পৃষ্ঠার পরবর্তী অংশে প্রতিটি অনুরোধের ধরন সম্পর্কিত নির্দিষ্ট অতিরিক্ত তথ্য পর্যালোচনা করুন।
• Gemini Live API মডেলগুলো countTokens সমর্থন করে না । এছাড়াও, Firebase AI Logic এখনও Live API মডেলের রেসপন্সে usageMetadata অ্যাট্রিবিউটটি সমর্থন করে না, তবে এটি শীঘ্রই আসছে!

এই বিকল্পগুলির মূল্য নির্ধারণ

• countTokens কল করা: countTokens (কাউন্ট টোকেনস এপিআই) কল করার জন্য কোনো চার্জ নেই। কাউন্ট টোকেনস এপিআই-এর সর্বোচ্চ কোটা হলো প্রতি মিনিটে ৩০০০ রিকোয়েস্ট (আরপিএম)।

• usageMetadata অ্যাট্রিবিউটের ব্যবহার: এই অ্যাট্রিবিউটটি সর্বদা রেসপন্সের অংশ হিসেবে ফেরত আসে এবং এর জন্য কোনো টোকেন খরচ হয় না বা নিজে কোনো চার্জ নেয় না।

অতিরিক্ত তথ্য

নির্দিষ্ট ধরনের অনুরোধ নিয়ে কাজ করার ক্ষেত্রে এখানে কিছু অতিরিক্ত তথ্য দেওয়া হলো।

টেক্সট ইনপুট টোকেন গণনা করুন

কোনো অতিরিক্ত তথ্য নেই।

একাধিক পালা (চ্যাট) টোকেন গণনা করুন

চ্যাট ব্যবহার করার সময় countTokens কল করার জন্য নিম্নলিখিত বিষয়গুলো লক্ষ্য করুন:

• আপনি যদি চ্যাট হিস্ট্রি দিয়ে countTokens কল করেন, তাহলে এটি চ্যাটের উভয় রোলের মোট টোকেন সংখ্যা ( total_tokens ) ফেরত দেয়।
• আপনার পরবর্তী কথোপকথনের পালা কতটা বড় হবে তা বোঝার জন্য, countTokens কল করার সময় আপনাকে এটি ইতিহাসে যুক্ত করতে হবে।

মাল্টিমোডাল ইনপুট টোকেন গণনা করুন

মাল্টিমোডাল ইনপুটের মাধ্যমে টোকেন গণনা করার বিষয়ে নিম্নলিখিত বিষয়গুলো লক্ষ্য করুন:

• আপনি চাইলে টেক্সট এবং ফাইলের উপর আলাদাভাবে countTokens কল করতে পারেন।
• টোকেন গণনার উভয় বিকল্পের ক্ষেত্রেই, আপনি ফাইলটি ইনলাইন ডেটা হিসেবে দিন বা এর URL ব্যবহার করুন, একই টোকেন সংখ্যা পাবেন।

ছবির ইনপুট ফাইল

ইমেজ ইনপুট ফাইলগুলোকে তাদের ডাইমেনশনের উপর ভিত্তি করে টোকেনে রূপান্তর করা হয়:

• যেসব ছবির উভয় মাত্রা ৩৮৪ পিক্সেল বা তার কম, সেগুলোর ক্ষেত্রে প্রতিটি ছবিকে ২৫৮টি টোকেন হিসেবে গণনা করা হয়।
• এক বা উভয় দিকে বড় আকারের ছবির ক্ষেত্রে: প্রতিটি ছবিকে প্রয়োজন অনুযায়ী ক্রপ ও স্কেল করে ৭৬৮x৭৬৮ পিক্সেলের টাইলে পরিণত করা হয় এবং তারপর প্রতিটি টাইলকে ২৫৮টি টোকেন হিসেবে গণনা করা হয়।

ভিডিও এবং অডিও ইনপুট ফাইল

ভিডিও এবং অডিও ইনপুট ফাইলগুলো নিম্নলিখিত নির্দিষ্ট হারে টোকেনে রূপান্তরিত করা হয়:

• ভিডিও: প্রতি সেকেন্ডে ২৬৩ টোকেন
• অডিও: প্রতি সেকেন্ডে ৩২টি টোকেন

ডকুমেন্ট (যেমন পিডিএফ) ইনপুট ফাইল

পিডিএফ ইনপুট ফাইলগুলোকে ছবি হিসেবে গণ্য করা হয়, তাই পিডিএফ-এর প্রতিটি পৃষ্ঠাকেও ছবির মতোই টোকেনাইজ করা হয়।