जनरेटिव एआई मॉडल (जैसे, Gemini मॉडल) डेटा को प्रोसेस करने के लिए, डेटा को टोकन में बांटते हैं. हर Gemini मॉडल में ज़्यादा से ज़्यादा टोकन होते हैं, जिन्हें वह प्रॉम्प्ट और रिस्पॉन्स में मैनेज कर सकता है.
इस पेज पर, किसी अनुरोध के लिए टोकन की संख्या का अनुमान और बिल करने लायक वर्णों की संख्या पाने का तरीका बताया गया है.
गिनती में कौनसी जानकारी दी जाती है?
टोकन और बिल किए जा सकने वाले वर्णों की गिनती करने के बारे में इन बातों का ध्यान रखें:
कुल टोकन की गिनती करना
इस संख्या से यह पक्का करने में मदद मिलती है कि आपके अनुरोध, मान्य कॉन्टेक्स्ट विंडो से बाहर न जाएं.
टोकन की संख्या में उन सभी फ़ाइलों (उदाहरण के लिए, इमेज) का साइज़ दिखेगा जो अनुरोध इनपुट के तौर पर दी जाती हैं. यह इमेज की संख्या या वीडियो में मौजूद सेकंड को शामिल नहीं करेगा.
Gemini के सभी मॉडल के लिए टोकन, करीब चार वर्णों के बराबर होता है. 100 टोकन में तकरीबन 60 से 80 अंग्रेज़ी शब्द होते हैं.
उन वर्णों की गिनती करना जिनके लिए बिल बनाया जा सकता है
इस संख्या से, आपके प्रॉडक्ट की लागत को समझने और उसे कंट्रोल करने में मदद मिलती है, क्योंकि Vertex AI के लिए, वर्णों की संख्या तय करना, कीमत तय करने का हिस्सा है.
बिल किए जा सकने वाले वर्णों की संख्या, टेक्स्ट में मौजूद उन वर्णों की संख्या दिखाएगी जो अनुरोध इनपुट में दी गई है.
Vertex AI के लिए, टोकन की कीमत तय करने का तरीका नहीं है. हर मॉडल के लिए टोकन की सीमा और हर मॉडल की कीमत के बारे में ज़्यादा जानें.
टोकन और बिल करने लायक वर्णों की गिनती करने के लिए कीमत और कोटा
CountTokens API का इस्तेमाल करने पर, कोई शुल्क नहीं लिया जाता या इसके लिए कोटा की कोई पाबंदी नहीं है. CountTokens एपीआई के लिए, हर मिनट ज़्यादा से ज़्यादा 3,000 अनुरोध स्वीकार किए जा सकते हैं.