इनपुट फ़ाइलों के लिए इस्तेमाल किए जा सकने वाले फ़ॉर्मैट और ज़रूरी शर्तें

Firebase AI Logic SDK टूल का इस्तेमाल करके, अपने ऐप्लिकेशन से Gemini API को कॉल करते समय, Gemini मॉडल को टेक्स्ट जनरेट करने के लिए कहा जा सकता है. इसके लिए, मल्टीमॉडल इनपुट का इस्तेमाल किया जा सकता है. जैसे, इमेज, वीडियो, ऑडियो, और दस्तावेज़ (जैसे, PDF).

आपको इस्तेमाल किए जा सकने वाले फ़ाइल टाइप और एमआईएमई टाइप का इस्तेमाल करना होगा. साथ ही, यह पक्का करना होगा कि आपकी फ़ाइलें और मल्टीमोडल अनुरोध, ज़रूरी शर्तों को पूरा करते हों और सबसे सही तरीके अपनाते हों.

इस पेज पर, GenerativeModel का इस्तेमाल करने के बारे में बताया गया है. इसमें ये चीज़ें शामिल हैं:

मल्टीमोडल अनुरोधों में फ़ाइलें उपलब्ध कराने के विकल्प

इस पेज पर, Gemini API की सेवा देने वाली कंपनी के हिसाब से कॉन्टेंट देखने के लिए, सेवा देने वाली कंपनी को चुनें

हर मल्टीमोडल अनुरोध में, आपको हमेशा यह जानकारी देनी होगी:

अनुरोध में दी जा सकने वाली फ़ाइलों का साइज़ और संख्या, इनपुट फ़ाइल टाइप, फ़ाइल देने के तरीके, और इस्तेमाल किए गए मॉडल के हिसाब से तय होती है. ज़्यादा जानकारी के लिए, इस पेज पर हर इनपुट फ़ाइल टाइप का सेक्शन देखें.

पहला विकल्प: फ़ाइल को इनलाइन डेटा के तौर पर उपलब्ध कराना

इनलाइन डेटा के तौर पर दी गई फ़ाइलों के बारे में यहां दी गई जानकारी का ध्यान रखें:

  • इनलाइन डेटा के तौर पर सिर्फ़ छोटी फ़ाइलें भेजी जा सकती हैं, क्योंकि अनुरोध के कुल साइज़ की सीमा 20 एमबी है.

  • ट्रांज़िट के दौरान, फ़ाइल को base64 में एन्कोड किया जाता है. इससे फ़ाइल का साइज़ बढ़ जाता है.

किसी फ़ाइल को इनलाइन डेटा के तौर पर शामिल करने का तरीका जानने के लिए, टेक्स्ट और फ़ाइल (टेक्स्ट, इमेज वग़ैरह को प्रोसेस करने वाला मॉडल) इनपुट से जनरेट किया गया टेक्स्ट लेख पढ़ें. ध्यान दें कि Android और Apple प्लैटफ़ॉर्म के लिए SDK टूल, एमआईएमई टाइप बताए बिना ही अनुरोधों में इनलाइन इमेज को हैंडल कर सकते हैं. ज़्यादा जानें.

दूसरा विकल्प: यूआरएल का इस्तेमाल करके फ़ाइल सबमिट करना

Gemini Developer API का इस्तेमाल करते समय, इन यूआरएल को स्वीकार किया जाता है:


इमेज: ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं

इमेज: ज़रूरी शर्तें

इस सेक्शन में, इमेज के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.

इस्तेमाल किए जा सकने वाले एमआईएमई टाइप

Gemini मल्टीमोडल मॉडल, इमेज के इन एमआईएमई टाइप के साथ काम करते हैं:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

हर अनुरोध के लिए सीमाएं

किसी इमेज में पिक्सल की संख्या की कोई तय सीमा नहीं है. हालांकि, बड़ी इमेज को छोटा किया जाता है और उनमें पैडिंग जोड़ी जाती है, ताकि वे 3072 x 3072 के ज़्यादा से ज़्यादा रिज़ॉल्यूशन में फ़िट हो सकें. साथ ही, उनका ओरिजनल आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) भी बना रहे.

हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें शामिल की जा सकती हैं: 3,000 इमेज फ़ाइलें

इमेज: टोकनाइज़ेशन

इमेज के लिए टोकन का हिसाब लगाने का तरीका यहां बताया गया है:

  • अगर किसी इमेज के दोनों डाइमेंशन 384 पिक्सल से कम या इसके बराबर हैं, तो 258 टोकन इस्तेमाल किए जाते हैं.
  • अगर किसी इमेज का एक डाइमेंशन 384 पिक्सल से ज़्यादा है, तो इमेज को टाइल में काट दिया जाता है. हर टाइल का साइज़, डिफ़ॉल्ट रूप से सबसे छोटे डाइमेंशन (चौड़ाई या ऊंचाई) को 1.5 से भाग देने पर मिलने वाली वैल्यू के बराबर होता है. अगर ज़रूरी हो, तो हर टाइल को इस तरह से अडजस्ट किया जाता है कि वह 256 पिक्सल से छोटी और 768 पिक्सल से बड़ी न हो. इसके बाद, हर टाइल का साइज़ बदलकर 768x768 कर दिया जाता है. साथ ही, हर टाइल के लिए 258 टोकन इस्तेमाल किए जाते हैं.

इमेज: सबसे सही तरीके

इमेज का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए यहां दिए गए सबसे सही तरीके और जानकारी अपनाएं:

  • अगर आपको किसी इमेज में मौजूद टेक्स्ट का पता लगाना है, तो एक से ज़्यादा इमेज वाले प्रॉम्प्ट के बजाय, एक इमेज वाले प्रॉम्प्ट का इस्तेमाल करें. इससे आपको बेहतर नतीजे मिलेंगे.
  • अगर आपके प्रॉम्प्ट में सिर्फ़ एक इमेज है, तो अपने अनुरोध में टेक्स्ट प्रॉम्प्ट से पहले इमेज डालें.
  • अगर आपके प्रॉम्प्ट में कई इमेज शामिल हैं और आपको बाद में अपने प्रॉम्प्ट में उनका रेफ़रंस देना है या मॉडल से उनके जवाब में उनका रेफ़रंस देना है, तो हर इमेज से पहले उसे इंडेक्स करना मददगार हो सकता है. अपने इंडेक्स के लिए, a b c या image 1 image 2 image 3 का इस्तेमाल करें. यहां प्रॉम्प्ट में इंडेक्स की गई इमेज इस्तेमाल करने का उदाहरण दिया गया है: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • ज़्यादा रिज़ॉल्यूशन वाली इमेज इस्तेमाल करें. इनसे बेहतर नतीजे मिलते हैं.
  • प्रॉम्प्ट में कुछ उदाहरण शामिल करें.
  • प्रॉम्प्ट में इमेज जोड़ने से पहले, उन्हें सही ओरिएंटेशन में घुमाएं.
  • धुंधली इमेज का इस्तेमाल न करें.

इमेज: पाबंदियां

Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:

  • कॉन्टेंट मॉडरेट करना: सुरक्षा से जुड़ी हमारी नीतियों का उल्लंघन करने वाली इमेज के बारे में, मॉडल जवाब नहीं देते.
  • स्पेशल रीज़निंग: ये मॉडल, इमेज में मौजूद टेक्स्ट या ऑब्जेक्ट का सटीक पता नहीं लगा पाते. ऐसा हो सकता है कि वे ऑब्जेक्ट की संख्या का सिर्फ़ अनुमानित डेटा दिखाएं.
  • मेडिकल से जुड़े कामों के लिए: ये मॉडल, मेडिकल इमेज (जैसे, एक्स-रे और सीटी स्कैन) को समझने या मेडिकल सलाह देने के लिए सही नहीं हैं.
  • लोगों की पहचान करना: इन मॉडल का इस्तेमाल, इमेज में मौजूद उन लोगों की पहचान करने के लिए नहीं किया जाना चाहिए जो सेलिब्रिटी नहीं हैं.
  • सटीक जानकारी: खराब क्वालिटी, रोटेट की गई या बहुत कम रिज़ॉल्यूशन वाली इमेज का विश्लेषण करते समय, मॉडल गलत जानकारी दे सकते हैं या गलतियां कर सकते हैं. इमेज और दस्तावेज़ों में मौजूद हाथ से लिखे टेक्स्ट को समझने के दौरान, मॉडल गलत जानकारी भी दे सकते हैं.


वीडियो: ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं

वीडियो: ज़रूरी शर्तें

इस सेक्शन में, वीडियो के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.

इस्तेमाल किए जा सकने वाले एमआईएमई टाइप

Gemini मल्टीमोडल मॉडल, इन वीडियो एमआईएमई टाइप के साथ काम करते हैं:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • एमपीजी - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

हर अनुरोध के लिए सीमाएं

हर अनुरोध में ज़्यादा से ज़्यादा इतनी वीडियो फ़ाइलें अपलोड की जा सकेंगी: 10

वीडियो: टोकनाइज़ेशन

वीडियो के लिए टोकन का हिसाब लगाने का तरीका यहां बताया गया है:

  • ऑडियो ट्रैक को वीडियो फ़्रेम के साथ एन्कोड किया गया हो. ऑडियो ट्रैक को भी एक सेकंड के हिस्सों में बांटा जाता है. हर हिस्से के लिए 32 टोकन होते हैं. वीडियो फ़्रेम और ऑडियो टोकन को उनके टाइमस्टैंप के साथ इंटरलीव किया जाता है. टाइमस्टैंप को पांच टोकन के तौर पर दिखाया जाता है.
  • एक फ़्रेम प्रति सेकंड (एफ़पीएस) या इससे कम पर सैंपल किए गए वीडियो के लिए, वीडियो के पहले घंटे के टाइमस्टैंप को हर वीडियो फ़्रेम के लिए पांच टोकन के तौर पर दिखाया जाता है. बाकी टाइमस्टैंप को हर वीडियो फ़्रेम के लिए सात टोकन के तौर पर दिखाया जाता है.
  • एक फ़्रेम प्रति सेकंड (एफ़पीएस) से ज़्यादा पर सैंपल किए गए वीडियो के लिए, वीडियो के पहले घंटे के टाइमस्टैंप को हर वीडियो फ़्रेम के लिए नौ टोकन के तौर पर दिखाया जाता है. बाकी टाइमस्टैंप को हर वीडियो फ़्रेम के लिए 11 टोकन के तौर पर दिखाया जाता है.

वीडियो: सबसे सही तरीके

वीडियो का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए यहां दिए गए सबसे सही तरीके और जानकारी अपनाएं:

  • अगर आपके प्रॉम्प्ट में एक वीडियो है, तो उसे टेक्स्ट प्रॉम्प्ट से पहले रखें.
  • अगर आपको ऑडियो वाले वीडियो में टाइमस्टैंप को स्थानीय भाषा में दिखाना है, तो मॉडल से "टाइमस्टैंप का फ़ॉर्मैट" में बताए गए फ़ॉर्मैट के मुताबिक टाइमस्टैंप जनरेट करने के लिए कहें.

वीडियो: सीमाएं

Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में काफ़ी असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:

  • कॉन्टेंट मॉडरेट करना: मॉडल, सुरक्षा से जुड़ी हमारी नीतियों का उल्लंघन करने वाले वीडियो के बारे में जवाब नहीं देते.
  • बिना बोले की गई आवाज़ की पहचान करना: ऑडियो के साथ काम करने वाले मॉडल, बिना बोले की गई आवाज़ की पहचान करने में गलतियां कर सकते हैं.


ऑडियो: ज़रूरी शर्तें और सीमाएं

ऑडियो: ज़रूरी शर्तें

इस सेक्शन में, ऑडियो के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.

इस्तेमाल किए जा सकने वाले एमआईएमई टाइप

Gemini मल्टीमोडल मॉडल, इन ऑडियो एमआईएमई टाइप के साथ काम करते हैं:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • एमपीए - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • पीसीएम - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

हर अनुरोध के लिए सीमाएं

हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें शामिल की जा सकती हैं: एक ऑडियो फ़ाइल

ऑडियो: सीमाएं

Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में काफ़ी असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:

  • बिना बोले की गई आवाज़ की पहचान करना: ऑडियो के साथ काम करने वाले मॉडल, बिना बोले की गई आवाज़ की पहचान करने में गलतियां कर सकते हैं.
  • सिर्फ़ ऑडियो वाली फ़ाइलों के लिए टाइमस्टैंप: सिर्फ़ ऑडियो वाली फ़ाइलों के लिए सटीक टाइमस्टैंप जनरेट करने के लिए, आपको generation_config में audio_timestamp पैरामीटर को कॉन्फ़िगर करना होगा.


दस्तावेज़ (जैसे, PDF): ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं

दस्तावेज़: ज़रूरी शर्तें

इस सेक्शन में, दस्तावेज़ों (जैसे, PDF) के लिए, इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.

इस्तेमाल किए जा सकने वाले एमआईएमई टाइप

Gemini मल्टीमोडल मॉडल, दस्तावेज़ के इन एमआईएमई टाइप के साथ काम करते हैं:

  • PDF - application/pdf
  • टेक्स्ट - text/plain

हर अनुरोध के लिए सीमाएं

PDF को इमेज माना जाता है. इसलिए, PDF के एक पेज को एक इमेज माना जाता है. किसी प्रॉम्प्ट में उतने ही पेज शामिल किए जा सकते हैं जितनी इमेज Gemini के मल्टीमॉडल मॉडल के साथ इस्तेमाल की जा सकती हैं.

  • हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें अपलोड की जा सकेंगी: 3,000 फ़ाइलें
  • हर फ़ाइल में ज़्यादा से ज़्यादा पेज: हर फ़ाइल में 1,000 पेज
  • हर फ़ाइल का ज़्यादा से ज़्यादा साइज़: 50 एमबी

दस्तावेज़: टोकनाइज़ेशन

PDF को टोकन में बदलना

PDF को इमेज की तरह माना जाता है. इसलिए, PDF के हर पेज को इमेज की तरह ही टोकन में बदला जाता है.

इसके अलावा, PDF के लिए शुल्क, Gemini इमेज की कीमत के हिसाब से तय होता है. उदाहरण के लिए, अगर आपने Gemini एपीआई कॉल में दो पेज वाली PDF फ़ाइल शामिल की है, तो आपको दो इमेज प्रोसेस करने के लिए इनपुट फ़ीस चुकानी होगी.

दस्तावेज़: सबसे सही तरीके

PDF का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए, यहां दिए गए सबसे सही तरीके और जानकारी का इस्तेमाल करें:

  • अगर आपके प्रॉम्प्ट में एक PDF है, तो अपने अनुरोध में टेक्स्ट प्रॉम्प्ट से पहले PDF को रखें.
  • अगर आपके पास कोई बड़ा दस्तावेज़ है, तो उसे प्रोसेस करने के लिए कई PDF में बांट लें.
  • स्कैन की गई इमेज में टेक्स्ट का इस्तेमाल करने के बजाय, टेक्स्ट के तौर पर रेंडर किए गए टेक्स्ट से बनाई गई PDF फ़ाइलों का इस्तेमाल करें. इस फ़ॉर्मैट से यह पक्का होता है कि टेक्स्ट को मशीन आसानी से पढ़ सके. इससे मॉडल के लिए, स्कैन की गई इमेज वाली PDF फ़ाइलों की तुलना में, टेक्स्ट में बदलाव करना, उसे खोजना, और उसमें हेर-फेर करना आसान हो जाता है. यह तरीका, कॉन्ट्रैक्ट जैसे ज़्यादा टेक्स्ट वाले दस्तावेज़ों के साथ काम करते समय सबसे अच्छे नतीजे देता है.

दस्तावेज़: सीमाएं

Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:

  • स्पेशल रीज़निंग: ये मॉडल, PDF में मौजूद टेक्स्ट या ऑब्जेक्ट का सटीक पता नहीं लगा पाते. ऐसा हो सकता है कि वे ऑब्जेक्ट की संख्या का सिर्फ़ अनुमानित डेटा दिखाएं.
  • सटीक जानकारी: PDF दस्तावेज़ों में मौजूद हाथ से लिखे गए टेक्स्ट को समझने के दौरान, मॉडल गलत जानकारी दे सकते हैं.