احتساب الرموز المميزة لنماذج Gemini

تعالج نماذج Gemini المدخلات والمخرجات في وحدات تُسمى الرموز المميّزة.

يمكن أن تكون الرموز المميّزة أحرفًا فردية مثل z أو كلمات كاملة مثل cat. يتم تقسيم الكلمات الطويلة إلى عدة رموز مميزة. تُعرف مجموعة الرموز المميّزة التي يستخدمها النموذج باسم "المفردات"، وتُعرف عملية تقسيم النص إلى رموز مميّزة باسم الترميز.

بالنسبة إلى نماذج Gemini، يعادل الرمز المميّز حوالي 4 أحرف. ويعادل 100 رمز مميز حوالي 60 إلى 80 كلمة باللغة الإنجليزية.

لكل نموذج حدّ أقصى لعدد الرموز المميّزة التي يمكنه معالجتها في الطلب والردّ. تتيح لك معرفة عدد الرموز المميّزة في طلبك معرفة ما إذا تجاوزت هذا الحدّ. بالإضافة إلى ذلك، يتم تحديد تكلفة الطلب جزئيًا من خلال عدد الرموز المميّزة في الإدخال والإخراج، لذا قد يكون من المفيد معرفة كيفية احتساب الرموز المميّزة.

النماذج المتوافقة

  • gemini-4-carbon
  • gemini-4-argon
  • gemini-3.8-flash
  • ‫gemini-3.5-flash-lite (والإصدار الأقدم gemini-3.1-flash-lite)
  • gemini-nano-banana-2.1 (Nano Banana 2.1)
  • gemini-3.1-flash-image (Nano Banana 2)
  • gemini-3.1-flash-lite-image (Nano Banana 2 Lite)
  • gemini-3-pro-image (Nano Banana Pro)
  • gemini-3.1-flash-tts-preview

تتيح نماذج Gemini 3.x Flash القديمة ذات الاستخدام العام هذه الإمكانية، ولكن لا يُنصح باستخدامها بعد الآن بسبب تواريخ الإيقاف القادمة و/أو التوجيه التلقائي إلى النماذج الأحدث.

خيارات احتساب الرموز المميّزة

يتم تحويل جميع المدخلات والمخرجات في Gemini API إلى رموز مميزة، بما في ذلك النصوص وملفات الصور والوسائط الأخرى غير النصية. في ما يلي خيارات احتساب الرموز المميّزة:

التحقّق من عدد الرموز المميّزة لطلباتك فقط (قبل إرسالها إلى النموذج)
استدعِ countTokens مع إدخال الطلب قبل إرساله إلى النموذج. يؤدي ذلك إلى عرض ما يلي:
  • ‫total_tokens: عدد الرموز المميّزة للإدخال فقط
تحقَّق من عدد الرموز المميّزة لكل من طلباتك وردودك.
يمكنك الوصول إلى السمة usageMetadata في عنصر الاستجابة. ويشمل ذلك ما يلي:
  • ‫prompt_token_count: عدد الرموز المميّزة للإدخال فقط
  • ‫candidates_token_count: عدد الرموز المميّزة للردّ فقط (لا يشمل الرموز المميّزة للتفكير)
  • ‫thoughts_token_count: عدد الرموز المميّزة للتفكير المستخدَمة لإنشاء الردّ
  • ‫total_token_count: إجمالي عدد الرموز المميّزة لكل من الإدخال والإخراج (بما في ذلك أي رموز مميّزة للتفكير)

عند عرض الناتج بشكل متواصل، تظهر السمة usageMetadata فقط في الجزء الأخير من الناتج. وتكون القيمة nil للأجزاء المتوسطة.

يُرجى مراعاة النقاط التالية بشأن الخيارات أعلاه:

  • ولن يتم احتساب عدد الصور المُدخلة أو عدد الثواني في ملفات الفيديو أو الصوت المُدخلة. ومع ذلك، فإنّ عدد الرموز المميّزة لكل من هذه الوسائط سيرتبط بهذه القيم.
  • يشمل عدد الرموز المميّزة في الطلب كلاً من الطلب (النص وأي ملفات إدخال) بالإضافة إلى أي تعليمات وأدوات للنظام.
  • لا يشمل عدد الرموز المميّزة الناتجة أي رموز مميّزة للتفكير، بل يتم توفيرها في حقل منفصل.
  • راجِع المعلومات الإضافية الخاصة بكل نوع من الطلبات لاحقًا في هذه الصفحة.
  • لا تتوافق نماذج Gemini Live API مع countTokens. بالإضافة إلى ذلك، لا تتيح Firebase AI Logic حتى الآن استخدام سمة usageMetadata في الردّ من نماذج Live API، ولكن ستتوفّر هذه الميزة قريبًا.

أسعار هذه الخيارات

  • استدعاء countTokens: لا يتم فرض أي رسوم مقابل استدعاء countTokens (واجهة برمجة التطبيقات Count Tokens). الحد الأقصى لحصة واجهة Count Tokens API هو 3,000 طلب في الدقيقة (RPM).

  • استخدام السمة usageMetadata: يتم عرض هذه السمة دائمًا كجزء من الاستجابة ولا تستهلك أي رموز مميّزة أو رسوم.

معلومات إضافية

في ما يلي بعض المعلومات الإضافية عند التعامل مع أنواع معيّنة من الطلبات.

احتساب الرموز المميّزة للنص المُدخَل

ما مِن معلومات إضافية.

احتساب الرموز المميّزة في المحادثات المتعدّدة الجولات

يُرجى ملاحظة ما يلي عند الاتصال بـ "countTokens" أثناء استخدام المحادثة:

  • إذا استدعيت countTokens مع سجلّ المحادثات، ستعرض إجمالي عدد الرموز المميّزة من كلا الدورَين في المحادثة (total_tokens).
  • لفهم حجم دورك التالي في المحادثة، عليك إلحاقه بالسجلّ عند استدعاء countTokens.

احتساب الرموز المميّزة للإدخال المتعدد الوسائط

يُرجى مراعاة النقاط التالية حول احتساب الرموز المميّزة باستخدام الإدخال المتعدّد الوسائط:

  • يمكنك اختياريًا استدعاء countTokens على النص والملف بشكل منفصل.
  • بالنسبة إلى كلا خيارَي احتساب الرموز المميّزة، ستحصل على عدد الرموز المميّزة نفسه سواء قدّمت الملف كبيانات مضمّنة أو باستخدام عنوان URL الخاص به.

ملفات الصور المُدخلة

يتم تحويل ملفات الصور المُدخلة إلى رموز مميّزة استنادًا إلى أبعادها:

  • الصور التي يقلّ كلا بُعدَيها عن 384 بكسل أو يساويه: يتم احتساب كل صورة على أنّها 258 رمزًا مميزًا.
  • الصور التي تتجاوز أبعادها الحد الأقصى في أحد البُعدَين أو كليهما: يتم اقتصاص كل صورة وتغيير حجمها حسب الحاجة إلى مربّعات بحجم 768×768 بكسل، ثم يتم احتساب كل مربّع على أنّه 258 رمزًا مميزًا.

ملفات إدخال الفيديو والصوت

يتم تحويل ملفات الفيديو والصوت المُدخلة إلى رموز مميّزة بالمعدلات الثابتة التالية:

  • الفيديو: 263 رمزًا مميزًا في الثانية
  • الصوت: 32 رمزًا مميّزًا في الثانية

ملفات الإدخال الخاصة بالمستندات (مثل ملفات PDF)

يتم التعامل مع ملفات PDF المُدخلة كصور، لذا يتم تقسيم كل صفحة من ملف PDF إلى رموز مميزة بالطريقة نفسها التي يتم بها تقسيم الصورة.