Firebase AI Logic SDK टूल का इस्तेमाल करके, अपने ऐप्लिकेशन से Gemini API को कॉल करते समय, Gemini मॉडल को मल्टीमॉडल इनपुट के आधार पर टेक्स्ट जनरेट करने के लिए कहा जा सकता है. जैसे, इमेज, वीडियो, ऑडियो, और दस्तावेज़ (जैसे, PDF).
आपको इस्तेमाल किए जा सकने वाले फ़ाइल टाइप और एमआईएमई टाइप का इस्तेमाल करना होगा. साथ ही, यह पक्का करना होगा कि आपकी फ़ाइलें और मल्टीमोडल अनुरोध, ज़रूरी शर्तों को पूरा करते हों और सबसे सही तरीकों का पालन करते हों.
इस पेज पर, GenerativeModel का इस्तेमाल करने के बारे में बताया गया है. साथ ही, यहां इनके बारे में जानकारी दी गई है:
इनपुट के तौर पर इस्तेमाल की जा सकने वाली इन फ़ाइलों के लिए, इस्तेमाल किए जा सकने वाले एमआईएमई टाइप, सबसे सही तरीके, और सीमाओं के बारे में जानकारी:
इमेज | वीडियो | ऑडियो | दस्तावेज़ (जैसे, PDF).
मल्टीमोडल अनुरोधों में फ़ाइलें उपलब्ध कराने के विकल्प
|
इस पेज पर, Gemini API की सेवा देने वाली कंपनी के हिसाब से कॉन्टेंट देखने के लिए, कंपनी को चुनें |
हर मल्टीमोडल अनुरोध में, आपको हमेशा यह जानकारी देनी होगी:
फ़ाइल का साइज़
mimeTypeहै. इस पेज के लागू सेक्शन में, हर इनपुट फ़ाइल के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप देखें.फ़ाइल. इसके लिए, फ़ाइल को इनलाइन डेटा के तौर पर उपलब्ध कराया जा सकता है या फ़ाइल को उसके यूआरएल का इस्तेमाल करके उपलब्ध कराया जा सकता है.
अनुरोध में दी जा सकने वाली फ़ाइलों का साइज़ और संख्या, इन बातों पर निर्भर करती है: इनपुट फ़ाइल का टाइप, फ़ाइल देने का तरीका, और इस्तेमाल किया गया मॉडल. ज़्यादा जानकारी के लिए, इस पेज पर इनपुट फ़ाइल के हर टाइप का सेक्शन देखें.
पहला विकल्प: फ़ाइल को इनलाइन डेटा के तौर पर उपलब्ध कराना
इनलाइन डेटा के तौर पर दी गई फ़ाइलों के बारे में यहां दी गई जानकारी का ध्यान रखें:
सिर्फ़ छोटी फ़ाइलों को इनलाइन डेटा के तौर पर भेजा जा सकता है, क्योंकि अनुरोध के कुल साइज़ की सीमा 20 एमबी है.
ट्रांज़िट के दौरान, फ़ाइल को base64 में एन्कोड किया जाता है. इससे फ़ाइल का साइज़ बढ़ जाता है.
किसी फ़ाइल को इनलाइन डेटा के तौर पर शामिल करने का उदाहरण देखने के लिए, टेक्स्ट और फ़ाइल (मल्टीमोडल) इनपुट से टेक्स्ट जनरेट करना लेख पढ़ें. ध्यान दें कि Android और Apple प्लैटफ़ॉर्म के लिए SDK टूल, अनुरोधों में इनलाइन इमेज को हैंडल कर सकते हैं. इसके लिए, एमआईएमई टाइप की जानकारी देने की ज़रूरत नहीं होती. ज़्यादा जानें.
दूसरा विकल्प: यूआरएल का इस्तेमाल करके फ़ाइल सबमिट करना
Gemini Developer API का इस्तेमाल करते समय, इन यूआरएल को स्वीकार किया जाता है:
YouTube वीडियो का यूआरएल: YouTube वीडियो सार्वजनिक या सबके लिए मौजूद नहीं के तौर पर सेट होना चाहिए.
हर अनुरोध में, YouTube वीडियो का एक यूआरएल दिया जा सकता है.
इमेज: ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं
इमेज: ज़रूरी शर्तें
इस सेक्शन में, इमेज के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.
इस्तेमाल किए जा सकने वाले एमआईएमई टाइप
Gemini मल्टीमोडल मॉडल, इमेज के इन एमआईएमई टाइप के साथ काम करते हैं:
- PNG -
image/png - JPEG -
image/jpeg - WebP -
image/webp
हर अनुरोध के लिए सीमाएं
किसी इमेज में पिक्सल की संख्या की कोई तय सीमा नहीं है. हालांकि, बड़ी इमेज को छोटा किया जाता है और उनमें पैडिंग जोड़ी जाती है, ताकि वे 3072 x 3072 के ज़्यादा से ज़्यादा रिज़ॉल्यूशन में फ़िट हो सकें. साथ ही, उनका ओरिजनल आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) भी बना रहे.
हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें शामिल की जा सकेंगी: 3,000 इमेज फ़ाइलें
इमेज: टोकनाइज़ेशन
इमेज के लिए टोकन का हिसाब लगाने का तरीका यहां बताया गया है:
- अगर किसी इमेज के दोनों डाइमेंशन 384 पिक्सल से कम या इसके बराबर हैं, तो 258 टोकन इस्तेमाल किए जाते हैं.
- अगर किसी इमेज का एक डाइमेंशन 384 पिक्सल से ज़्यादा है, तो इमेज को टाइल में काट दिया जाता है. हर टाइल का साइज़, डिफ़ॉल्ट रूप से सबसे छोटे डाइमेंशन (चौड़ाई या ऊंचाई) को 1.5 से भाग देने पर मिलने वाली वैल्यू के बराबर होता है. अगर ज़रूरी हो, तो हर टाइल को इस तरह से अडजस्ट किया जाता है कि वह 256 पिक्सल से छोटी और 768 पिक्सल से बड़ी न हो. इसके बाद, हर टाइल का साइज़ बदलकर 768x768 कर दिया जाता है. साथ ही, हर टाइल के लिए 258 टोकन इस्तेमाल किए जाते हैं.
इमेज: सबसे सही तरीके
इमेज का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए, यहां दिए गए सबसे सही तरीके और जानकारी अपनाएं:
- अगर आपको किसी इमेज में मौजूद टेक्स्ट का पता लगाना है, तो एक से ज़्यादा इमेज वाले प्रॉम्प्ट के बजाय, एक इमेज वाले प्रॉम्प्ट का इस्तेमाल करें. इससे आपको बेहतर नतीजे मिलेंगे.
- अगर आपके प्रॉम्प्ट में सिर्फ़ एक इमेज है, तो अपने अनुरोध में इमेज को टेक्स्ट प्रॉम्प्ट से पहले रखें.
- अगर आपके प्रॉम्प्ट में एक से ज़्यादा इमेज हैं और आपको बाद में अपने प्रॉम्प्ट में उनका रेफ़रंस देना है या मॉडल से उनके जवाब में उनका रेफ़रंस देना है, तो हर इमेज से पहले उसे एक इंडेक्स दें. अपने इंडेक्स के लिए,
याabc का इस्तेमाल करें. यहां प्रॉम्प्ट में इंडेक्स की गई इमेज इस्तेमाल करने का उदाहरण दिया गया है:image 1image 2image 3image 1
image 2 image 3 Write a blogpost about my day using image 1 and image 2. Then, give me ideas for tomorrow based on image 3. - हाई रिज़ॉल्यूशन वाली इमेज इस्तेमाल करें. इनसे बेहतर नतीजे मिलते हैं.
- प्रॉम्प्ट में कुछ उदाहरण शामिल करें.
- प्रॉम्प्ट में इमेज जोड़ने से पहले, उन्हें सही ओरिएंटेशन में घुमाएं.
- धुंधली इमेज का इस्तेमाल न करें.
इमेज: सीमाएं
Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में काफ़ी असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:
- कॉन्टेंट मॉडरेट करना: मॉडल, सुरक्षा से जुड़ी हमारी नीतियों का उल्लंघन करने वाली इमेज के बारे में जवाब नहीं देते.
- स्पेशल रीज़निंग: इमेज में मौजूद टेक्स्ट या ऑब्जेक्ट का पता लगाने में, मॉडल सटीक नतीजे नहीं देते. ऐसा हो सकता है कि वे ऑब्जेक्ट की संख्या का सिर्फ़ अनुमानित डेटा दिखाएं.
- मेडिकल से जुड़े कामों के लिए इस्तेमाल: ये मॉडल, मेडिकल इमेज (जैसे, एक्स-रे और सीटी स्कैन) को समझने या मेडिकल सलाह देने के लिए सही नहीं हैं.
- लोगों की पहचान करना: इन मॉडल का इस्तेमाल, इमेज में मौजूद उन लोगों की पहचान करने के लिए नहीं किया जाना चाहिए जो सेलिब्रिटी नहीं हैं.
- सटीक जानकारी: खराब क्वालिटी, रोटेट की गई या बहुत कम रिज़ॉल्यूशन वाली इमेज को समझने में, मॉडल गलतियां कर सकते हैं या गलत जानकारी दे सकते हैं. इमेज और दस्तावेज़ों में मौजूद हाथ से लिखे टेक्स्ट को समझने के दौरान, मॉडल गलत जानकारी भी दे सकते हैं.
वीडियो: ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं
वीडियो: ज़रूरी शर्तें
इस सेक्शन में, वीडियो के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.
इस्तेमाल किए जा सकने वाले एमआईएमई टाइप
Gemini मल्टीमोडल मॉडल, वीडियो के इन एमआईएमई टाइप के साथ काम करते हैं:
- FLV -
video/x-flv - MOV -
video/quicktime - MPEG -
video/mpeg - MPEGPS -
video/mpegps - एमपीजी -
video/mpg - MP4 -
video/mp4 - WEBM -
video/webm - WMV -
video/wmv - 3GPP -
video/3gpp
हर अनुरोध के लिए सीमाएं
हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें अपलोड की जा सकेंगी: 10 वीडियो फ़ाइलें
वीडियो: टोकनाइज़ेशन
वीडियो के लिए टोकन का हिसाब लगाने का तरीका यहां बताया गया है:
-
ऑडियो ट्रैक को वीडियो फ़्रेम के साथ एन्कोड किया गया है. ऑडियो ट्रैक को भी
एक सेकंड के ट्रंक में बांटा जाता है. हर ट्रंक के लिए 32 टोकन होते हैं. वीडियो फ़्रेम और ऑडियो टोकन को उनके टाइमस्टैंप के साथ इंटरलीव किया जाता है. टाइमस्टैंप को पांच टोकन के तौर पर दिखाया जाता है. -
एक फ़्रेम प्रति सेकंड (एफ़पीएस) या इससे कम पर सैंपल किए गए वीडियो के लिए, वीडियो के पहले घंटे के टाइमस्टैंप को हर वीडियो फ़्रेम के लिए पांच टोकन के तौर पर दिखाया जाता है. बाकी टाइमस्टैंप को हर वीडियो फ़्रेम के लिए सात टोकन के तौर पर दिखाया जाता है. -
एक फ़्रेम प्रति सेकंड (एफ़पीएस) से ज़्यादा पर सैंपल किए गए वीडियो के लिए, वीडियो के पहले घंटे के टाइमस्टैंप को हर वीडियो फ़्रेम के लिए नौ टोकन के तौर पर दिखाया जाता है. बाकी टाइमस्टैंप को हर वीडियो फ़्रेम के लिए 11 टोकन के तौर पर दिखाया जाता है.
वीडियो: सबसे सही तरीके
वीडियो का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए यहां दिए गए सबसे सही तरीके और जानकारी अपनाएं:
- अगर आपके प्रॉम्प्ट में एक वीडियो है, तो उसे टेक्स्ट प्रॉम्प्ट से पहले रखें.
- अगर आपको ऑडियो वाले वीडियो में टाइमस्टैंप को स्थानीय भाषा में दिखाना है, तो मॉडल से "टाइमस्टैंप का फ़ॉर्मैट" में बताए गए फ़ॉर्मैट के मुताबिक टाइमस्टैंप जनरेट करने के लिए कहें.
वीडियो: सीमाएं
Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:
- कॉन्टेंट मॉडरेट करना: सुरक्षा से जुड़ी हमारी नीतियों का उल्लंघन करने वाले वीडियो के बारे में, मॉडल जवाब नहीं देते.
- बिना बोले की गई आवाज़ों की पहचान करना: ऑडियो की सुविधा वाले मॉडल, बिना बोले की गई आवाज़ों को पहचानने में गलतियां कर सकते हैं.
ऑडियो: ज़रूरी शर्तें और सीमाएं
ऑडियो: ज़रूरी शर्तें
इस सेक्शन में, ऑडियो के लिए इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.
इस्तेमाल किए जा सकने वाले एमआईएमई टाइप
Gemini मल्टीमोडल मॉडल, ऑडियो के इन एमआईएमई टाइप के साथ काम करते हैं:
- AAC -
audio/aac - FLAC -
audio/flac - MP3 -
audio/mp3 - एमपीए -
audio/m4a - MPEG -
audio/mpeg - MPGA -
audio/mpga - MP4 -
audio/mp4 - OPUS -
audio/opus - पीसीएम -
audio/pcm - WAV -
audio/wav - WEBM -
audio/webm
हर अनुरोध के लिए सीमाएं
हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें शामिल की जा सकती हैं: एक ऑडियो फ़ाइल
ऑडियो: सीमाएं
Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में काफ़ी असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:
- बिना बोले की गई आवाज़ों की पहचान करना: ऑडियो की सुविधा वाले मॉडल, बिना बोले की गई आवाज़ों को पहचानने में गलतियां कर सकते हैं.
- सिर्फ़ ऑडियो वाली फ़ाइलों के लिए टाइमस्टैंप: सिर्फ़ ऑडियो वाली फ़ाइलों के लिए सटीक टाइमस्टैंप जनरेट करने के लिए, आपको
generation_configमेंaudio_timestampपैरामीटर को कॉन्फ़िगर करना होगा.
दस्तावेज़ (जैसे, PDF): ज़रूरी शर्तें, सबसे सही तरीके, और सीमाएं
दस्तावेज़: ज़रूरी शर्तें
इस सेक्शन में, PDF जैसे दस्तावेज़ों के लिए, इस्तेमाल किए जा सकने वाले एमआईएमई टाइप और हर अनुरोध के लिए तय की गई सीमाओं के बारे में जानें.
इस्तेमाल किए जा सकने वाले एमआईएमई टाइप
Gemini मल्टीमोडल मॉडल, इन दस्तावेज़ों के एमआईएमई टाइप के साथ काम करते हैं:
- PDF -
application/pdf - टेक्स्ट -
text/plain
इसके अलावा, सिर्फ़ Gemini 4.x मॉडल में Microsoft Office और OpenDocument के ये एमआईएमई टाइप इस्तेमाल किए जा सकते हैं:
Microsoft Word:
.doc-application/msword.docx-application/vnd.openxmlformats-officedocument.wordprocessingml.document.dotx-application/vnd.openxmlformats-officedocument.wordprocessingml.template
Microsoft PowerPoint:
.ppt-application/vnd.ms-powerpoint.pptx-application/vnd.openxmlformats-officedocument.presentationml.presentation
Microsoft Excel:
.xls-application/vnd.ms-excel.xlsx-application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
OpenDocument:
.odt-application/vnd.oasis.opendocument.text.odp-application/vnd.oasis.opendocument.presentation.ods-application/vnd.oasis.opendocument.spreadsheet
हर अनुरोध के लिए सीमाएं
PDF को इमेज माना जाता है. इसलिए, PDF के एक पेज को एक इमेज माना जाता है. किसी प्रॉम्प्ट में उतने ही पेज शामिल किए जा सकते हैं जितनी इमेज Gemini मल्टीमोडल मॉडल में इस्तेमाल की जा सकती हैं.
- हर अनुरोध में ज़्यादा से ज़्यादा इतनी फ़ाइलें जोड़ी जा सकती हैं: 3,000 फ़ाइलें
- हर फ़ाइल में ज़्यादा से ज़्यादा पेज: हर फ़ाइल में 1,000 पेज
- हर फ़ाइल का ज़्यादा से ज़्यादा साइज़: 50 एमबी
दस्तावेज़: टोकनाइज़ेशन
PDF को टोकन में बदलना
PDF को इमेज की तरह माना जाता है. इसलिए, PDF के हर पेज को इमेज की तरह ही टोकन में बदला जाता है.
इसके अलावा, PDF के लिए शुल्क, Gemini इमेज की कीमत के हिसाब से तय होता है. उदाहरण के लिए, अगर आपने Gemini एपीआई कॉल में दो पेज वाली PDF फ़ाइल शामिल की है, तो आपको दो इमेज प्रोसेस करने के लिए इनपुट फ़ीस चुकानी होगी.
दस्तावेज़: सबसे सही तरीके
PDF का इस्तेमाल करते समय, सबसे अच्छे नतीजे पाने के लिए, यहां दिए गए सबसे सही तरीके और जानकारी का इस्तेमाल करें:
- अगर आपके प्रॉम्प्ट में एक PDF है, तो अपने अनुरोध में टेक्स्ट प्रॉम्प्ट से पहले PDF को रखें.
- अगर आपके पास कोई बड़ा दस्तावेज़ है, तो उसे प्रोसेस करने के लिए कई PDF फ़ाइलों में बांट लें.
- स्कैन की गई इमेज में टेक्स्ट का इस्तेमाल करने के बजाय, टेक्स्ट के तौर पर रेंडर किए गए टेक्स्ट से बनाई गई PDF फ़ाइलों का इस्तेमाल करें. इस फ़ॉर्मैट से यह पक्का होता है कि टेक्स्ट को मशीन आसानी से पढ़ सके. इससे मॉडल के लिए, स्कैन की गई इमेज वाली PDF फ़ाइलों की तुलना में, टेक्स्ट में बदलाव करना, उसे खोजना, और उसमें हेर-फेर करना आसान हो जाता है. यह तरीका, कॉन्ट्रैक्ट जैसे ज़्यादा टेक्स्ट वाले दस्तावेज़ों के साथ काम करते समय सबसे अच्छे नतीजे देता है.
दस्तावेज़: सीमाएं
Gemini मल्टीमोडल मॉडल, कई मल्टीमोडल इस्तेमाल के मामलों में काफ़ी असरदार होते हैं. हालांकि, इन मॉडल की सीमाओं को समझना ज़रूरी है:
- स्पेशल रीज़निंग: ये मॉडल, PDF में मौजूद टेक्स्ट या ऑब्जेक्ट का सटीक पता नहीं लगा पाते. ऐसा हो सकता है कि वे ऑब्जेक्ट की संख्या का सिर्फ़ अनुमानित डेटा दिखाएं.
- सटीक जानकारी: PDF दस्तावेज़ों में मौजूद हाथ से लिखे टेक्स्ट को समझने में, मॉडल गलत जानकारी दे सकते हैं.