Vertex AI for Firebase SDK टूल का इस्तेमाल करके, अपने ऐप्लिकेशन से Gemini API को कॉल करते समय, तो Gemini मॉडल को मल्टीमॉडल इनपुट के आधार पर टेक्स्ट जनरेट करने के लिए कहा जा सकता है. मल्टीमोडल प्रॉम्प्ट में कई तरीके (या इनपुट के टाइप) शामिल हो सकते हैं, जैसे, इमेज, PDF, वीडियो, और ऑडियो के साथ टेक्स्ट.
मल्टीमोडल प्रॉम्प्ट की जांच करने और उसे फिर से चालू करने के लिए, हमारा सुझाव है कि Vertex AI Studio.
शुरू करने से पहले
अगर आपने अब तक ऐसा नहीं किया है, तो 'Firebase के लिए Vertex AI' SDK टूल के बारे में शुरुआती जानकारी देने वाली गाइड. पक्का करें कि आपने ये सभी काम कर लिए हों:
नया या मौजूदा Firebase प्रोजेक्ट सेट अप करना. इसमें, ब्लेज़ प्राइसिंग प्लान और ज़रूरी एपीआई चालू करना.
अपने ऐप्लिकेशन को Firebase से कनेक्ट करना. इसमें ऐप्लिकेशन को रजिस्टर करना और आपके ऐप्लिकेशन के लिए Firebase कॉन्फ़िगरेशन.
SDK टूल जोड़ें. इसके बाद, Vertex AI सेवा और जनरेटिव मॉडल को शुरू करें आपके ऐप्लिकेशन में.
अपने ऐप्लिकेशन को Firebase से कनेक्ट करने, SDK टूल जोड़ने, और Vertex AI की सेवा और जनरेटिव मॉडल, क्या आप Gemini API को कॉल करने के लिए तैयार हैं.
- टेक्स्ट और किसी एक इमेज से टेक्स्ट जनरेट करना
- टेक्स्ट और एक से ज़्यादा इमेज से टेक्स्ट जनरेट करना
- टेक्स्ट और वीडियो से टेक्स्ट जनरेट करना
टेक्स्ट और किसी एक इमेज से टेक्स्ट जनरेट करें
पक्का करें कि आपने शुरू करने से पहले की प्रक्रिया पूरी कर ली हो सेक्शन देखें.
Gemini API को मल्टीमोडल प्रॉम्प्ट के ज़रिए कॉल किया जा सकता है. इनमें ये प्रॉम्प्ट शामिल हैं टेक्स्ट और एक फ़ाइल, दोनों (जैसे कि इमेज, जैसा कि इस उदाहरण में दिखाया गया है). इनके लिए कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जो मल्टीमोडल प्रॉम्प्ट की सुविधा का इस्तेमाल करता हो (जैसे, Gemini 1.5 Pro).
फ़ाइलों में इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल होते हैं. कृपया इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या इंतज़ार करना है
जब तक पूरा नतीजा जनरेट नहीं हो जाता (generateContent).
स्ट्रीमिंग
पूरे नतीजे का इंतज़ार किए बिना, ज़्यादा तेज़ी से इंटरैक्शन किया जा सकता है इस्तेमाल किया जा सकता है और इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, जनरेट किए गए कॉन्टेंट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमोडल प्रॉम्प्ट अनुरोध का टेक्स्ट, जिसमें टेक्स्ट और एक इमेज शामिल हो:
बिना स्ट्रीमिंग के
इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे का इंतज़ार किया जा सकता है; यह नतीजा, मॉडल के पूरी जनरेशन पूरा होने के बाद ही दिखाया जाता है प्रोसेस.
इस उदाहरण में, किसी यूआरएल से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमोडल प्रॉम्प्ट अनुरोध, जिसमें टेक्स्ट और एक इमेज शामिल होती है:
Gemini का मॉडल चुनने का तरीक़ा जानें और विकल्प के तौर पर कोई जगह आपके इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से सही है.
टेक्स्ट और एक से ज़्यादा इमेज से टेक्स्ट जनरेट करें
पक्का करें कि आपने शुरू करने से पहले की प्रक्रिया पूरी कर ली हो सेक्शन देखें.
Gemini API को मल्टीमोडल प्रॉम्प्ट के ज़रिए कॉल किया जा सकता है. इनमें ये प्रॉम्प्ट शामिल हैं टेक्स्ट और कई फ़ाइलें (जैसे कि इमेज, जैसा कि इस उदाहरण में दिखाया गया है). इनके लिए कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जो मल्टीमोडल प्रॉम्प्ट की सुविधा का इस्तेमाल करता हो (जैसे, Gemini 1.5 Pro).
फ़ाइलों में इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल होते हैं. कृपया इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या इंतज़ार करना है
जब तक पूरा नतीजा जनरेट नहीं हो जाता (generateContent).
स्ट्रीमिंग
पूरे नतीजे का इंतज़ार किए बिना, ज़्यादा तेज़ी से इंटरैक्शन किया जा सकता है इस्तेमाल किया जा सकता है और इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, जनरेट किए गए कॉन्टेंट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमॉडल प्रॉम्प्ट अनुरोध का टेक्स्ट, जिसमें टेक्स्ट और एक से ज़्यादा इमेज शामिल हैं:
बिना स्ट्रीमिंग के
इसके बजाय पूरे नतीजे का इंतज़ार किया जा सकता है. स्ट्रीमिंग; नतीजा तब ही दिखता है, जब मॉडल सभी चरणों को पूरा कर लेता है जेनरेशन प्रोसेस है.
इस उदाहरण में, किसी यूआरएल से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमोडल प्रॉम्प्ट अनुरोध, जिसमें टेक्स्ट और एक से ज़्यादा इमेज शामिल होती हैं:
Gemini का मॉडल चुनने का तरीक़ा जानें और विकल्प के तौर पर कोई जगह आपके इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से सही है.
टेक्स्ट और वीडियो से टेक्स्ट जनरेट करना
पक्का करें कि आपने शुरू करने से पहले की प्रक्रिया पूरी कर ली हो सेक्शन देखें.
Gemini API को मल्टीमोडल प्रॉम्प्ट के ज़रिए कॉल किया जा सकता है. इनमें ये प्रॉम्प्ट शामिल हैं दोनों टेक्स्ट और एक वीडियो (जैसा कि इस उदाहरण में दिखाया गया है). इनके लिए कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जो मल्टीमोडल प्रॉम्प्ट की सुविधा का इस्तेमाल करता हो (जैसे, Gemini 1.5 Pro).
कृपया इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव.
चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या इंतज़ार करना है
जब तक पूरा नतीजा जनरेट नहीं हो जाता (generateContent).
स्ट्रीमिंग
पूरे नतीजे का इंतज़ार किए बिना, ज़्यादा तेज़ी से इंटरैक्शन किया जा सकता है इस्तेमाल किया जा सकता है और इसके बजाय, आंशिक नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल किया जा सकता है.
इस उदाहरण में, जनरेट किए गए कॉन्टेंट को स्ट्रीम करने के लिए, generateContentStream() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमॉडल प्रॉम्प्ट अनुरोध का टेक्स्ट, जिसमें टेक्स्ट और एक वीडियो शामिल है:
बिना स्ट्रीमिंग के
इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे का इंतज़ार किया जा सकता है; यह नतीजा, मॉडल के पूरी जनरेशन पूरा होने के बाद ही दिखाया जाता है प्रोसेस.
इस उदाहरण में, किसी यूआरएल से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल करने का तरीका बताया गया है
मल्टीमोडल प्रॉम्प्ट अनुरोध, जिसमें टेक्स्ट और एक वीडियो शामिल होता है:
Gemini का मॉडल चुनने का तरीक़ा जानें और विकल्प के तौर पर कोई जगह आपके इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से सही है.
इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव
इस्तेमाल किए जा सकने वाले फ़ाइल टाइप के बारे में जानने के लिए, MIME टाइप तय करने का तरीका और उन्हें बनाने का तरीका जानें पक्का करें कि आपकी फ़ाइलें और मल्टीमोडल अनुरोध ज़रूरी शर्तों को पूरा करते हों. साथ ही, सबसे सही तरीके, देखें Vertex AI Gemini API के साथ काम करने वाली इनपुट फ़ाइलें और ज़रूरी शर्तें.
तुम और क्या कर सकती हो?
- टोकन की गिनती करने का तरीका जानें तो मॉडल को लंबे प्रॉम्प्ट भेजने से पहले.
- Firebase के लिए Cloud Storage सेट अप करना इससे आपको मल्टीमॉडल अनुरोधों में बड़ी फ़ाइलों को शामिल करने की सुविधा मिलती है. Cloud Storage के यूआरएल. फ़ाइलों में इमेज, PDF, वीडियो, और ऑडियो शामिल हो सकते हैं.
- प्रोडक्शन की तैयारी के बारे में सोचना शुरू करें. इसमें ये भी शामिल हैं Firebase App Check सेट अप करना इससे Gemini API को बिना अनुमति वाले क्लाइंट के गलत इस्तेमाल से बचाने में मदद मिलती है.
Gemini API की अन्य सुविधाएँ आज़माएँ
- एक के बाद एक बातचीत (चैट) बनाएं.
- यहां से टेक्स्ट जनरेट करें सिर्फ़ टेक्स्ट वाले प्रॉम्प्ट.
- कनेक्ट करने के लिए, फ़ंक्शन कॉलिंग का इस्तेमाल करें जनरेटिव मॉडल से लेकर बाहरी सिस्टम और जानकारी.
कॉन्टेंट जनरेट करने की प्रोसेस को कंट्रोल करने का तरीका जानें
- प्रॉम्प्ट डिज़ाइन को समझना, जिसमें ये शामिल हैं सबसे सही तरीके, रणनीतियां, और प्रॉम्प्ट के उदाहरण.
- मॉडल पैरामीटर कॉन्फ़िगर करना, जैसे तापमान और ज़्यादा से ज़्यादा आउटपुट टोकन.
- सुरक्षा सेटिंग का इस्तेमाल करके, नुकसान पहुंचाने वाले जवाब मिलने की संभावना कम हो.
Gemini के मॉडल के बारे में ज़्यादा जानें
ज़्यादा जानने के लिए, अलग-अलग कामों के लिए उपलब्ध मॉडल और उनका कोटा और कीमत.सुझाव दें 'Firebase के लिए Vertex AI' इस्तेमाल करने के आपके अनुभव के बारे में