ספירת טוקנים במודלים של Gemini

מודלים של Gemini מעבדים קלט ופלט ביחידות שנקראות טוקנים.

אסימונים יכולים להיות תווים בודדים כמו z או מילים שלמות כמו cat. מילים ארוכות מפוצלות לכמה אסימונים. קבוצת כל האסימונים שבהם המודל משתמש נקראת אוצר המילים, והתהליך של פיצול הטקסט לאסימונים נקרא המרה לאסימונים.

במודלים של Gemini, טוקן שווה ערך לכ-4 תווים. ‫100 טוקנים שווים בערך ל-60 עד 80 מילים באנגלית.

לכל מודל יש מספר מקסימלי של אסימונים שהוא יכול לעבד בהנחיה ובתשובה. אם תדעו כמה טוקנים יש בהנחיה, תוכלו לדעת אם חרגתם מהמגבלה. בנוסף, העלות של בקשה נקבעת בין היתר לפי מספר הטוקנים של הקלט והפלט, ולכן כדאי לדעת איך לספור טוקנים.

מודלים נתמכים

• gemini-4-argon
• ‫gemini-3.8-flash (והגרסאות הישנות יותר gemini-3.7-flash,‏ gemini-3.6-flash ו-gemini-3.5-flash)
• ‫gemini-3.5-flash-lite (והגרסה הישנה יותר gemini-3.1-flash-lite)
• gemini-nano-banana-2.1 (Nano Banana 2.1)
• gemini-3.1-flash-image (Nano Banana 2)
• gemini-3.1-flash-lite-image (Nano Banana 2 Lite)
• gemini-3-pro-image (Nano Banana Pro)
• gemini-3.1-flash-tts-preview

גם המודלים gemini-3.1-pro-preview, המודלים לשימוש כללי והמודלים ליצירת תמונות של Gemini 2.5 (שהם מודלים שהוצאו משימוש) תומכים ביכולת הזו.

אפשרויות לספירת טוקנים

כל הקלט והפלט של Gemini API עוברים טוקניזציה, כולל טקסט, קובצי תמונות ומודלים אחרים שהם לא טקסט. אלה האפשרויות לספירת טוקנים:

לבדוק את מספר הטוקנים בבקשות בלבד (לפני ששולחים אותן למודל).

מפעילים את countTokens עם הקלט של הבקשה לפני ששולחים אותה למודל. התוצאה:

• ‫total_tokens: מספר הטוקנים של הקלט בלבד

בודקים את מספר האסימונים גם בבקשות וגם בתשובות.

ניגשים למאפיין usageMetadata באובייקט התגובה. זה כולל:

• prompt_token_count: מספר הטוקנים בקלט בלבד
• ‫candidates_token_count: מספר הטוקנים בפלט בלבד (לא כולל טוקנים של חשיבה)
• ‫thoughts_token_count: מספר הטוקנים של החשיבה ששימשו ליצירת התשובה
• ‫total_token_count: המספר הכולל של הטוקנים גם בקלט וגם בפלט (כולל טוקנים של חשיבה)

כשמפעילים פלט סטרימינג, המאפיין usageMetadata מופיע רק בחלק האחרון של הסטרימינג. הערך הוא nil לחלקים האמצעיים.

חשוב לשים לב לנקודות הבאות לגבי האפשרויות שלמעלה:

• הם לא יספרו את מספר התמונות בקלט או את מספר השניות בקובצי וידאו או אודיו בקלט. עם זאת, מספר האסימונים לכל אחד מהאופנים האלה תואם לערכים האלה.
• מספר הטוקנים של הקלט כולל את ההנחיה (הטקסט וכל קובצי הקלט) וגם את כל ההוראות והכלים של המערכת.
• מספר הטוקנים בפלט לא כולל טוקנים של חשיבה, שמופיעים בשדה נפרד.
• בהמשך הדף מופיע מידע נוסף שספציפי לכל סוג של בקשה.
• מודלים מסוג Gemini Live API לא תומכים ב-countTokens. בנוסף, Firebase AI Logic עדיין לא תומך במאפיין usageMetadata בתשובה ממודלים של Live API, אבל בקרוב הוא יתמוך בו.

המחירים של האפשרויות האלה

• קריאה ל-countTokens: אין חיוב על קריאה ל-countTokens (Count Tokens API). המכסה המקסימלית של Count Tokens API היא 3,000 בקשות לדקה (RPM).

• שימוש במאפיין usageMetadata: המאפיין הזה תמיד מוחזר כחלק מהתשובה, ולא כרוך בטוקנים או בחיוב בפני עצמו.

מידע נוסף

הנה מידע נוסף על עבודה עם סוגים ספציפיים של בקשות.

ספירת טוקנים של קלט טקסט

אין מידע נוסף.

ספירת טוקנים בשיחה עם זיכרון (צ'אט)

חשוב לשים לב לנקודות הבאות כשמתקשרים אל countTokens באמצעות הצ'אט:

• אם קוראים ל-countTokens עם היסטוריית הצ'אט, הפונקציה מחזירה את מספר הטוקנים הכולל משני התפקידים בצ'אט (total_tokens).
• כדי להבין כמה גדול יהיה התור הבא בשיחה, צריך להוסיף אותו להיסטוריה כשמפעילים את countTokens.

ספירת טוקנים של קלט מולטי-מודאלי

חשוב לשים לב לנקודות הבאות לגבי ספירת טוקנים עם קלט מולטימודלי:

• אפשר גם להפעיל את countTokens על הטקסט ועל הקובץ בנפרד.
• בשתי האפשרויות לספירת טוקנים, תקבלו את אותה ספירת טוקנים בין אם תספקו את הקובץ כנתונים מוטבעים או באמצעות כתובת ה-URL שלו.

קובצי קלט של תמונות

קובצי קלט של תמונות מומרים לטוקנים על סמך המידות שלהם:

• תמונות קלט ששני הממדים שלהן קטנים מ-384 פיקסלים או שווים ל-384 פיקסלים: כל תמונה נספרת כ-258 טוקנים.
• תמונות קלט שגדולות יותר באחד מהממדים או בשניהם: כל תמונה נחתכת ומשתנה לפי הצורך למשבצות של 768x768 פיקסלים, ואז כל משבצת נספרת כ-258 טוקנים.

קובצי קלט של וידאו ואודיו

קובצי קלט של וידאו ואודיו מומרים לטוקנים לפי השיעורים הקבועים הבאים:

• וידאו: 263 טוקנים לשנייה
• אודיו: 32 טוקנים לשנייה

קבצי קלט של מסמכים (כמו קובצי PDF)

קובצי קלט בפורמט PDF נחשבים לתמונות, ולכן כל דף בקובץ PDF עובר טוקניזציה באותו אופן כמו תמונה.