Gemini मॉडल के लिए टोकन की संख्या गिनना

Gemini मॉडल, इनपुट और आउटपुट को टोकन नाम की इकाइयों में प्रोसेस करते हैं.

टोकन, z जैसे सिंगल वर्ण या cat जैसे पूरे शब्द हो सकते हैं. लंबे शब्दों को कई टोकन में बांटा जाता है. मॉडल में इस्तेमाल किए गए सभी टोकन के सेट को वोकैबुलरी कहा जाता है. साथ ही, टेक्स्ट को टोकन में बांटने की प्रोसेस को टोकनाइज़ेशन कहा जाता है.

Gemini मॉडल के लिए, एक टोकन करीब चार वर्णों के बराबर होता है. 100 टोकन, अंग्रेज़ी के करीब 60 से 80 शब्दों के बराबर होते हैं.

हर मॉडल के लिए, प्रॉम्प्ट और जवाब में इस्तेमाल किए जा सकने वाले टोकन की संख्या तय होती है. अपने प्रॉम्प्ट में टोकन की संख्या जानकर, यह पता लगाया जा सकता है कि आपने इस सीमा को पार किया है या नहीं. इसके अलावा, किसी अनुरोध की लागत कुछ हद तक इनपुट और आउटपुट टोकन की संख्या से तय होती है. इसलिए, टोकन की गिनती करने का तरीका जानना मददगार हो सकता है.

इस्तेमाल किए जा सकने वाले मॉडल

  • gemini-4-hydrogen
  • gemini-4-argon
  • gemini-4-carbon
  • gemini-3.8-flash
  • gemini-3.5-flash-lite (और इससे पुराना gemini-3.1-flash-lite)
  • gemini-nano-banana-2.1 (Nano Banana 2.1)
  • gemini-3.1-flash-image (Nano Banana 2)
  • gemini-3.1-flash-lite-image (Nano Banana 2 Lite)
  • gemini-3-pro-image (Nano Banana Pro)
  • gemini-3.8-flash-tts और gemini-3.8-flash-lite-tts (सिर्फ़ जवाब में usageMetadata के ज़रिए; countTokens को कॉल करने की सुविधा उपलब्ध नहीं है)

सामान्य इस्तेमाल के लिए उपलब्ध पुराने Gemini 3.x Flash मॉडल में यह सुविधा काम करती है. हालांकि, अब इनका इस्तेमाल करने का सुझाव नहीं दिया जाता. इसकी वजह यह है कि इन्हें बंद करने की तारीखें आने वाली हैं और/या नए मॉडल पर अपने-आप रूट होने की सुविधा उपलब्ध है.

टोकन की गिनती करने के विकल्प

Gemini API के लिए सभी इनपुट और आउटपुट को टोकन में बदला जाता है. इसमें टेक्स्ट, इमेज फ़ाइलें, और टेक्स्ट के अलावा अन्य मोडैलिटी शामिल हैं. टोकन की गिनती करने के लिए ये विकल्प उपलब्ध हैं:

सिर्फ़ अपने अनुरोधों के लिए टोकन की संख्या देखें. ऐसा उन्हें मॉडल पर भेजने से पहले करें.
अनुरोध को मॉडल पर भेजने से पहले, इनपुट के साथ countTokens को कॉल करें. इससे यह नतीजा मिलता है:
  • total_tokens: सिर्फ़ इनपुट के टोकन की संख्या
अपने अनुरोधों और जवाबों, दोनों के लिए टोकन की संख्या देखें.
रिस्पॉन्स ऑब्जेक्ट पर usageMetadata एट्रिब्यूट को ऐक्सेस करें. इसमें ये शामिल हैं:
  • prompt_token_count: सिर्फ़ इनपुट के टोकन की संख्या
  • candidates_token_count: सिर्फ़ आउटपुट के टोकन की संख्या (इसमें थिंकिंग टोकन शामिल नहीं हैं)
  • thoughts_token_count: जवाब जनरेट करने के लिए इस्तेमाल किए गए थिंकिंग टोकन की संख्या
  • total_token_count: इनपुट और आउटपुट, दोनों के लिए टोकन की कुल संख्या (इसमें थिंकिंग टोकन भी शामिल हैं)

आउटपुट को स्ट्रीम करते समय, usageMetadata एट्रिब्यूट सिर्फ़ स्ट्रीम के आखिरी हिस्से पर दिखता है. इंटरमीडिएट चंक के लिए, यह nil है.

ऊपर दिए गए विकल्पों के बारे में इन बातों का ध्यान रखें:

  • इनमें इनपुट इमेज की संख्या या वीडियो या ऑडियो इनपुट फ़ाइलों में सेकंड की संख्या को नहीं गिना जाएगा. हालांकि, इनमें से हर मोडैलिटी के लिए टोकन की संख्या, इन वैल्यू से कोरिलेट करेगी.
  • इनपुट टोकन की संख्या में प्रॉम्प्ट (टेक्स्ट और कोई भी इनपुट फ़ाइल) के साथ-साथ, सिस्टम के निर्देश और टूल भी शामिल होते हैं.
  • आउटपुट टोकन की संख्या में कोई भी थिंकिंग टोकन शामिल नहीं होता. इन्हें अलग फ़ील्ड में दिया जाता है.
  • इस पेज पर आगे, हर तरह के अनुरोध के लिए दी गई अतिरिक्त जानकारी देखें.
  • Gemini टीटीएस मॉडल (gemini-3.8-flash-tts और gemini-3.8-flash-lite-tts) countTokens को कॉल करने की सुविधा के साथ काम नहीं करते. हालांकि, जवाब में usageMetadata एट्रिब्यूट में टोकन की संख्या दिखती है.
  • Gemini Live API मॉडल में countTokens का इस्तेमाल नहीं किया जा सकता. साथ ही, Firebase AI Logic फ़िलहाल Live API मॉडल से मिलने वाले जवाब में, usageMetadata एट्रिब्यूट के साथ काम नहीं करता. हालांकि, यह सुविधा जल्द ही उपलब्ध होगी!

इन विकल्पों के लिए कीमत

  • countTokens को कॉल करना: countTokens (Count Tokens API) को कॉल करने के लिए कोई शुल्क नहीं लिया जाता. Count Tokens API के लिए, ज़्यादा से ज़्यादा कोटा 3,000 अनुरोध प्रति मिनट (आरपीएम) है.

  • usageMetadata एट्रिब्यूट का इस्तेमाल करना: यह एट्रिब्यूट हमेशा रिस्पॉन्स के हिस्से के तौर पर दिखाया जाता है. इसके लिए, कोई टोकन या शुल्क नहीं लिया जाता.

अतिरिक्त जानकारी

यहां कुछ खास तरह के अनुरोधों के बारे में ज़्यादा जानकारी दी गई है.

टेक्स्ट इनपुट के टोकन गिनना

कोई अतिरिक्त जानकारी नहीं.

मल्टी-टर्न (चैट) टोकन की गिनती करना

चैट का इस्तेमाल करते समय, countTokens को कॉल करने के लिए इन बातों का ध्यान रखें:

  • अगर चैट के इतिहास के साथ countTokens को कॉल किया जाता है, तो यह चैट (total_tokens) में दोनों भूमिकाओं के लिए टोकन की कुल संख्या दिखाता है.
  • यह समझने के लिए कि बातचीत का अगला टर्न कितना बड़ा होगा, आपको countTokens को कॉल करते समय, इसे इतिहास में जोड़ना होगा.

मल्टीमोडल इनपुट टोकन की संख्या गिनना

मल्टीमोडल इनपुट के साथ टोकन की गिनती करने के बारे में इन बातों का ध्यान रखें:

  • आपके पास टेक्स्ट और फ़ाइल पर अलग-अलग countTokens को कॉल करने का विकल्प होता है.
  • टोकन की गिनती करने के दोनों विकल्पों के लिए, आपको टोकन की एक जैसी संख्या मिलेगी. भले ही, आपने फ़ाइल को इनलाइन डेटा के तौर पर दिया हो या उसके यूआरएल का इस्तेमाल किया हो.

इमेज इनपुट फ़ाइलें

इमेज इनपुट फ़ाइलों को उनके डाइमेंशन के आधार पर टोकन में बदला जाता है:

  • ऐसी इमेज जिनके दोनों डाइमेंशन 384 पिक्सल से कम या इसके बराबर हों: हर इमेज को 258 टोकन के तौर पर गिना जाता है.
  • इनपुट के तौर पर दी गई ऐसी इमेज जो एक या दोनों डाइमेंशन में बड़ी हैं: हर इमेज को ज़रूरत के हिसाब से काटकर, 768x768 पिक्सल की टाइल में बदला जाता है. इसके बाद, हर टाइल को 258 टोकन के तौर पर गिना जाता है.

वीडियो और ऑडियो इनपुट फ़ाइलें

वीडियो और ऑडियो इनपुट फ़ाइलों को टोकन में बदला जाता है. इसके लिए, यहां दी गई दरें तय की गई हैं:

  • वीडियो: हर सेकंड के लिए 263 टोकन
  • ऑडियो: हर सेकंड 32 टोकन

दस्तावेज़ (जैसे, PDF) इनपुट फ़ाइलें

PDF इनपुट फ़ाइलों को इमेज के तौर पर माना जाता है. इसलिए, PDF के हर पेज को इमेज की तरह ही टोकन में बदला जाता है.