'Firebase के लिए Vertex AI' SDK टूल का इस्तेमाल करके, अपने ऐप्लिकेशन से Gemini API को कॉल करते समय, Gemini मॉडल को मल्टीमोडल इनपुट के आधार पर टेक्स्ट जनरेट करने के लिए प्रॉम्प्ट जनरेट किया जा सकता है. मल्टीमोडल प्रॉम्प्ट में कई मोडलिटी (या इनपुट के टाइप) शामिल हो सकती हैं. जैसे, टेक्स्ट के साथ इमेज, PDF, वीडियो, और ऑडियो.
मल्टीमॉडल प्रॉम्प्ट की जांच करने और उन्हें फिर से चालू करने के लिए, हमारा सुझाव है कि आप Vertex AI Studio का इस्तेमाल करें.
वेब कंटेनर इंस्टॉल करने से पहले
अगर आपने अभी तक इस टूल को इस्तेमाल नहीं किया है, तो Firebase के लिए Vertex AI SDK टूल के बारे में शुरुआती जानकारी देने वाली गाइड को पढ़ें. पक्का करें कि आपने ये सभी काम कर लिए हों:
कोई नया या मौजूदा Firebase प्रोजेक्ट सेट अप करें. इसमें, ब्लेज़ प्राइसिंग प्लान का इस्तेमाल करना और ज़रूरी एपीआई चालू करना शामिल है.
अपने ऐप्लिकेशन को Firebase से कनेक्ट करें. इसमें, ऐप्लिकेशन रजिस्टर करना और ऐप्लिकेशन में Firebase कॉन्फ़िगरेशन जोड़ना भी शामिल है.
SDK टूल जोड़ें और अपने ऐप्लिकेशन में Vertex AI सेवा और जनरेटिव मॉडल का इस्तेमाल शुरू करें.
अपने ऐप्लिकेशन को Firebase से कनेक्ट करने, SDK टूल जोड़ने, और Vertex AI सेवा और जनरेटिव मॉडल शुरू करने के बाद, Gemini API को कॉल किया जा सकता है.
- टेक्स्ट और किसी एक इमेज से टेक्स्ट जनरेट करना
- टेक्स्ट और एक से ज़्यादा इमेज से टेक्स्ट जनरेट करना
- टेक्स्ट और वीडियो से टेक्स्ट जनरेट करना
टेक्स्ट और किसी एक इमेज से टेक्स्ट जनरेट करें
इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड के शुरू करने से पहले वाले सेक्शन को पूरा कर लिया हो.
Gemini API को मल्टीमॉडल प्रॉम्प्ट की मदद से कॉल किया जा सकता है. इसमें टेक्स्ट और एक फ़ाइल, दोनों शामिल होते हैं. जैसे, इमेज, जैसा कि इस उदाहरण में दिखाया गया है. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जिस पर मल्टीमोडल प्रॉम्प्ट की सुविधा काम करती हो. जैसे, Gemini 1.5 Pro.
फ़ाइलों में इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल होते हैं. इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).
स्ट्रीमिंग
अगर आपको मॉडल जनरेशन के पूरे नतीजे का इंतज़ार नहीं करना है, तो आपके इंटरैक्शन तेज़ी से होने की संभावना बढ़ जाती है. इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए, स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, टेक्स्ट और एक इमेज वाले मल्टीमोडल प्रॉम्प्ट अनुरोध की मदद से, जनरेट किए गए टेक्स्ट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है:
बिना स्ट्रीमिंग के
इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे का इंतज़ार किया जा सकता है. नतीजों को तब ही दिखाया जाता है, जब मॉडल पूरी जनरेशन प्रोसेस पूरी कर लेता है.
इस उदाहरण में, टेक्स्ट और एक इमेज वाले मल्टीमोडल प्रॉम्प्ट अनुरोध से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है:
Gemini का मॉडल चुनने का तरीक़ा जानें. साथ ही, आपके लिए इस्तेमाल के उदाहरण और ऐप्लिकेशन के लिए सही जगह की जानकारी चुनने का तरीक़ा जानें.
टेक्स्ट और एक से ज़्यादा इमेज से टेक्स्ट जनरेट करें
इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड के शुरू करने से पहले वाले सेक्शन को पूरा कर लिया हो.
Gemini API को मल्टीमॉडल प्रॉम्प्ट की मदद से कॉल किया जा सकता है. इसमें टेक्स्ट और कई फ़ाइलें शामिल होती हैं. जैसे, इमेज, जैसा कि इस उदाहरण में दिखाया गया है. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जिस पर मल्टीमोडल प्रॉम्प्ट की सुविधा काम करती हो. जैसे, Gemini 1.5 Pro.
फ़ाइलों में इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल होते हैं. इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).
स्ट्रीमिंग
अगर आपको मॉडल जनरेशन के पूरे नतीजे का इंतज़ार नहीं करना है, तो आपके इंटरैक्शन तेज़ी से होने की संभावना बढ़ जाती है. इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए, स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, टेक्स्ट और एक से ज़्यादा इमेज वाले मल्टीमोडल प्रॉम्प्ट अनुरोध की मदद से, जनरेट किए गए टेक्स्ट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है:
बिना स्ट्रीमिंग के
इसके अलावा, स्ट्रीमिंग के बजाय पूरे नतीजे का इंतज़ार किया जा सकता है. जब मॉडल पूरी प्रोसेस पूरी कर लेता है, तब ही यह नतीजा मिलता है.
इस उदाहरण में, टेक्स्ट और एक से ज़्यादा इमेज वाले मल्टीमोडल प्रॉम्प्ट अनुरोध से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है:
Gemini का मॉडल चुनने का तरीक़ा जानें. साथ ही, आपके लिए इस्तेमाल के उदाहरण और ऐप्लिकेशन के लिए सही जगह की जानकारी चुनने का तरीक़ा जानें.
टेक्स्ट और वीडियो से टेक्स्ट जनरेट करना
इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड के शुरू करने से पहले वाले सेक्शन को पूरा कर लिया हो.
Gemini API को मल्टीमोडल प्रॉम्प्ट के ज़रिए कॉल किया जा सकता है. इसमें टेक्स्ट और एक वीडियो, दोनों शामिल होते हैं. जैसा कि इस उदाहरण में दिखाया गया है. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जिस पर मल्टीमोडल प्रॉम्प्ट की सुविधा काम करती हो. जैसे, Gemini 1.5 Pro.
इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).
स्ट्रीमिंग
अगर आपको मॉडल जनरेशन के पूरे नतीजे का इंतज़ार नहीं करना है, तो आपके इंटरैक्शन तेज़ी से होने की संभावना बढ़ जाती है. इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए, स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, टेक्स्ट और एक वीडियो वाले मल्टीमॉडल प्रॉम्प्ट अनुरोध की मदद से, जनरेट किए गए टेक्स्ट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है:
बिना स्ट्रीमिंग के
इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे का इंतज़ार किया जा सकता है. नतीजों को तब ही दिखाया जाता है, जब मॉडल पूरी जनरेशन प्रोसेस पूरी कर लेता है.
इस उदाहरण में, टेक्स्ट और एक वीडियो वाले मल्टीमोडल प्रॉम्प्ट अनुरोध से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है:
Gemini का मॉडल चुनने का तरीक़ा जानें. साथ ही, आपके लिए इस्तेमाल के उदाहरण और ऐप्लिकेशन के लिए सही जगह की जानकारी चुनने का तरीक़ा जानें.
इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव
इस्तेमाल किए जा सकने वाले फ़ाइल टाइप, MIME टाइप की जानकारी देने, और यह पक्का करने का तरीका कि आपकी फ़ाइलें और मल्टीमोडल अनुरोध ज़रूरी शर्तों को पूरा करते हैं या नहीं, यह जानने के लिए और सबसे सही तरीकों का पालन करने के बारे में जानने के लिए, Vertex AI Gemini API के लिए काम करने वाली इनपुट फ़ाइलें और ज़रूरी शर्तें देखें.
तुम और क्या कर सकती हो?
- मॉडल को लंबे प्रॉम्प्ट भेजने से पहले, टोकन की गिनती करने का तरीका जानें.
- Firebase के लिए Cloud Storage सेट अप करें ताकि आप Cloud Storage के यूआरएल का इस्तेमाल करके, अपने मल्टीमॉडल अनुरोधों में बड़ी फ़ाइलें शामिल कर सकें. फ़ाइलों में इमेज, PDF, वीडियो, और ऑडियो शामिल हो सकते हैं.
- प्रोडक्शन की तैयारी करें. साथ ही, Firebase ऐप्लिकेशन जांच की सुविधा सेट अप करना शुरू करें, ताकि Gemini API को बिना अनुमति वाले क्लाइंट के गलत इस्तेमाल से बचाया जा सके.
Gemini API की अन्य सुविधाएँ आज़माएँ
- एक के बाद एक बातचीत (चैट) बनाएं.
- सिर्फ़ टेक्स्ट वाले प्रॉम्प्ट से टेक्स्ट जनरेट करें.
- जनरेटिव मॉडल को बाहरी सिस्टम और जानकारी से कनेक्ट करने के लिए, फ़ंक्शन कॉलिंग का इस्तेमाल करें.
कॉन्टेंट जनरेट करने की प्रोसेस को कंट्रोल करने का तरीका जानें
- प्रॉम्प्ट के डिज़ाइन को समझना, जिसमें सबसे सही तरीके, रणनीतियां, और प्रॉम्प्ट के उदाहरण शामिल हैं.
- तापमान और ज़्यादा से ज़्यादा आउटपुट टोकन जैसे मॉडल पैरामीटर कॉन्फ़िगर करें.
- आपको सुरक्षा सेटिंग का इस्तेमाल करके, ऐसे जवाब मिलने की संभावना को अडजस्ट करना होगा जो हानिकारक माने जा सकते हों.
Gemini के मॉडल के बारे में ज़्यादा जानें
अलग-अलग तरह के इस्तेमाल के लिए उपलब्ध मॉडल और उनके कोटा और कीमत के बारे में जानें.Firebase के लिए Vertex AI के साथ अपने अनुभव के बारे में सुझाव/राय दें या शिकायत करें