एआई की सुविधाओं के इस्तेमाल, लागत, और अन्य मेट्रिक पर नज़र रखना, प्रोडक्शन ऐप्लिकेशन को चलाने का एक अहम हिस्सा है. आपको यह जानने की ज़रूरत है कि आपके ऐप्लिकेशन के लिए, इस्तेमाल के सामान्य पैटर्न कैसे दिखते हैं. साथ ही, यह पक्का करना होगा कि आप उन थ्रेशोल्ड के अंदर रहें जो आपके लिए ज़रूरी हैं.
इस पेज पर, Firebase console और Google Cloud console, दोनों में लागत, इस्तेमाल, और अन्य मेट्रिक को मॉनिटर करने के लिए, कुछ सुझाए गए विकल्पों के बारे में बताया गया है.
लागतों पर नज़र रखना
Firebase कंसोल के इस्तेमाल और बिलिंग डैशबोर्ड में जाकर, Agent Platform Gemini API (formerly Vertex AI) और Gemini Developer API को कॉल करने के लिए, अपने प्रोजेक्ट की लागत देखी जा सकती है. हालांकि, ऐसा सिर्फ़ तब किया जा सकता है, जब आपने ब्लेज़ प्राइसिंग प्लान चुना हो.
डैशबोर्ड पर दिखाई गई लागत, ज़रूरी नहीं कि Firebase AI Logic क्लाइंट एसडीके का इस्तेमाल करके की गई कॉल के लिए हो. दिखाए गए शुल्क, "Gemini API" के किसी भी कॉल से जुड़े हैं. भले ही, वे Firebase AI Logic क्लाइंट SDK टूल, Google GenAI सर्वर SDK टूल, Genkit, Firebase Extensions for Gemini API, REST कॉल, AI Studio में से किसी एक या अन्य एपीआई क्लाइंट का इस्तेमाल कर रहे हों.
Firebase AI Logic का इस्तेमाल करके दिखाए जाने वाले प्रॉडक्ट की कीमत के बारे में ज़्यादा जानें.
बजट की सूचनाएं और खर्च की सीमाएं सेट अप करना
Blaze के प्राइसिंग प्लान का इस्तेमाल करते समय, बजट सेट अप करके अचानक मिलने वाले बिल से बचें. इसके बाद, बजट की चेतावनियां और बजट खर्च की सीमाएं सेट अप करें.
ध्यान दें कि बजट की सूचनाएं, बजट की सीमाएं नहीं होती हैं. जब कॉन्फ़िगर की गई थ्रेशोल्ड वैल्यू के आस-पास पहुंच जाएंगे या उससे ज़्यादा हो जाएगी, तब आपको सूचनाएं भेजी जाएंगी. इससे आपको अपने ऐप्लिकेशन या प्रोजेक्ट में कार्रवाई करने में मदद मिलेगी. अगर आपको बजट खत्म होने पर सेवा को रोकना है, तो आपको बजट खर्च की सीमा सेट करनी होगी.
Firebase कंसोल में, एआई की सुविधाओं के इस्तेमाल पर नज़र रखना
Firebase कंसोल के Firebase AI Logic पेज में जाकर, एआई मॉनिटरिंग की सुविधा चालू की जा सकती है. इससे आपको ऐप्लिकेशन लेवल की अलग-अलग मेट्रिक और इस्तेमाल की जानकारी मिल सकती है. साथ ही, Firebase AI Logic क्लाइंट एसडीके से मिले अनुरोधों के बारे में पूरी जानकारी मिल सकती है. ये डैशबोर्ड, Count Tokens API को कॉल करने पर मिलने वाले टोकन की बुनियादी संख्या से ज़्यादा जानकारी देते हैं.
Firebase कंसोल में एआई की परफ़ॉर्मेंस मॉनिटर करने की मुख्य सुविधाओं में ये शामिल हैं:
क्वांटिटेटिव मेट्रिक देखना. जैसे, अनुरोधों की संख्या, लेटेन्सी, गड़बड़ियां, और आपके हर ऐप्लिकेशन के लिए हर मोडैलिटी के हिसाब से टोकन का इस्तेमाल.
अपने अनुरोधों के एट्रिब्यूट, इनपुट, और आउटपुट देखने के लिए ट्रेस की जांच करना. इससे डीबग करने और क्वालिटी को बेहतर बनाने में मदद मिल सकती है.
डाइमेंशन के हिसाब से डेटा को स्लाइस करना. जैसे, अनुरोध की स्थिति, कम से कम इंतज़ार का समय, मॉडल का नाम वगैरह.
इन सभी सुविधाओं को Google Cloud Observability Suite का इस्तेमाल करके बनाया गया है. इसके बारे में ज़्यादा जानने के लिए, यहां प्रॉडक्ट की पूरी जानकारी देखें.
एआई मॉनिटरिंग की सुविधा चालू करना
Firebase कंसोल में, एआई मॉनिटरिंग की सुविधा चालू करने के तरीके यहां दिए गए हैं:
एआई सेवाएं > Firebase AI Logic पेज पर जाकर, शुरुआती सेटअप के लिए दिए गए निर्देशों को पूरा करने पर
एआई सेवाएं > एआई लॉजिक > सेटिंग टैब में जाकर, कभी भी
एआई मॉनिटरिंग की सुविधा चालू करने और इसका इस्तेमाल करने के लिए ज़रूरी शर्तें:
आपके पास प्रोजेक्ट के मालिक, एडिटर या Firebase Vertex AI एडमिन की भूमिका होनी चाहिए.
आपके ऐप्लिकेशन में, Firebase लाइब्रेरी के कम से कम ये वर्शन इस्तेमाल होने चाहिए:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+आपके ऐप्लिकेशन में, डेटा कलेक्शन के लिए ऑप्ट-इन करने की सुविधा चालू होनी चाहिए. यह सुविधा डिफ़ॉल्ट रूप से चालू होती है.
जब आपका ऐप्लिकेशन इन ज़रूरी शर्तों को पूरा कर लेता है और आपने कंसोल में एआई मॉनिटरिंग की सुविधा चालू कर दी है, तो आपको अपने ऐप्लिकेशन या कंसोल में कुछ और करने की ज़रूरत नहीं है. इसके बाद, आपको एआई सेवाएं > एआई लॉजिक > एआई मॉनिटरिंग टैब में मौजूद डैशबोर्ड में डेटा दिखने लगेगा. ऐसा हो सकता है कि किसी अनुरोध से मिले टेलीमेट्री डेटा को Firebase कंसोल में दिखने में थोड़ा समय लगे. कभी-कभी इसमें पांच मिनट तक लग सकते हैं.
ऐडवांस इस्तेमाल
इस सेक्शन में, सैंपलिंग रेट कॉन्फ़िगरेशन के बारे में बताया गया है. साथ ही, अपने डेटा को देखने और उसके साथ काम करने के अलग-अलग विकल्पों के बारे में भी बताया गया है.
सैंपलिंग रेट
अगर आपको बड़ी संख्या में अनुरोध करने हैं, तो हमारा सुझाव है कि आप सैंपलिंग रेट कॉन्फ़िगरेशन का इस्तेमाल करें. सैंपलिंग रेट से पता चलता है कि कितने अनुरोधों के लिए, ट्रेस की जानकारी असल में इकट्ठा की जाती है.
Firebase कंसोल में, एआई सेवाएं > एआई लॉजिक > सेटिंग टैब में जाकर, अपने प्रोजेक्ट के लिए सैंपलिंग रेट को कॉन्फ़िगर किया जा सकता है. इसके लिए, 1 से 100% तक की कोई वैल्यू चुनें. 100% का मतलब है कि एआई मॉनिटरिंग, आपके सभी ट्रैफ़िक से ट्रेस इकट्ठा करेगी. डिफ़ॉल्ट रूप से, यह 100% पर सेट होता है. कम ट्रेस इकट्ठा करने से, लागत कम हो जाएगी. हालांकि, इससे उन ट्रेस की संख्या भी कम हो जाएगी जिन्हें मॉनिटर किया जा सकता है. ध्यान दें कि सैंपलिंग रेट कुछ भी हो, मॉनिटरिंग डैशबोर्ड में दिखाए गए ग्राफ़ हमेशा ट्रैफ़िक की सही मात्रा दिखाएंगे.
Firebase कंसोल के बाहर मौजूद अन्य विकल्प
Firebase कंसोल में एआई की निगरानी की सुविधा के अलावा, इन विकल्पों पर भी विचार करें:
Vertex AI Model Garden देखें.
इन डैशबोर्ड से, मैनेज किए गए मॉडल के लिए लेटेन्सी और थ्रूपुट के बारे में ट्रेंड की ज़्यादा अहम जानकारी मिलती है. इससे आपको Firebase कंसोल में एआई मॉनिटरिंग से मिली अहम जानकारी को बेहतर बनाने में मदद मिलती है.Google Cloud Observability Suite
की मदद से, अपने डेटा को एक्सप्लोर करें और उसका इस्तेमाल करें एआई मॉनिटरिंग के लिए टेलीमेट्री डेटा, आपके प्रोजेक्ट से जुड़े Google Cloud Observability Suite में सेव किया जाता है. इसलिए, इसके डैशबोर्ड में अपने डेटा को एक्सप्लोर किया जा सकता है. इसमें Trace Explorer और Logs Explorer शामिल हैं. ये Firebase कंसोल में आपके अलग-अलग ट्रेस की जांच करने के दौरान लिंक किए जाते हैं. अपने डेटा का इस्तेमाल करके, कस्टम डैशबोर्ड बनाए जा सकते हैं. साथ ही, सूचनाएं सेट अप की जा सकती हैं. इसके अलावा, और भी कई काम किए जा सकते हैं.
एआई मॉनिटरिंग के लिए इस्तेमाल किए जाने वाले प्रॉडक्ट के बारे में पूरी जानकारी
एआई मॉनिटरिंग, आपके टेलीमेट्री डेटा को Google Cloud Observability Suite में उपलब्ध अलग-अलग प्रॉडक्ट में सेव करती है. इनमें Cloud Monitoring, Cloud Trace, और Cloud Logging शामिल हैं.
Cloud Monitoring: यह कुकी, मेट्रिक सेव करती है. इनमें अनुरोधों की संख्या, सक्सेस रेट, और अनुरोध में लगने वाला समय शामिल है.
Cloud Trace: यह आपके हर अनुरोध के लिए ट्रेस सेव करता है, ताकि आपको कुल जानकारी के बजाय अलग-अलग जानकारी दिख सके. ट्रेस आम तौर पर लॉग से जुड़ा होता है, ताकि हर इंटरैक्शन के कॉन्टेंट और समय की जांच की जा सके.
Cloud Logging: यह इनपुट, आउटपुट, और कॉन्फ़िगरेशन मेटाडेटा को कैप्चर करता है, ताकि एआई से किए गए आपके अनुरोध के हर हिस्से के बारे में ज़्यादा जानकारी दी जा सके.
आपका टेलीमेट्री डेटा इन प्रॉडक्ट में सेव किया जाता है. इसलिए, हर प्रॉडक्ट में डेटा के रखरखाव और ऐक्सेस करने की सेटिंग तय की जा सकती हैं. इसके बारे में ज़्यादा जानने के लिए, Cloud Monitoring, Cloud Trace, और Cloud Logging के दस्तावेज़ पढ़ें.
ध्यान दें कि एआई मॉनिटरिंग, Cloud Logging में सैंपल किए गए हर अनुरोध से मिले असल प्रॉम्प्ट और जनरेट किए गए आउटपुट को सेव करती है. इससे यह डेटा, Firebase कंसोल में ऐक्सेस किया जा सकता है. आपके पास प्रॉम्प्ट और जवाबों को सेव करने की सुविधा बंद करने का विकल्प होता है.
कीमत
बिना शुल्क वाले Spark प्लान के प्रोजेक्ट (यह प्लान सिर्फ़ Gemini Developer API का इस्तेमाल करने पर उपलब्ध है): एआई मॉनिटरिंग के लिए, बुनियादी सेवाओं का इस्तेमाल बिना किसी शुल्क के किया जा सकता है.
इस्तेमाल के हिसाब से पैसे चुकाने वाले ब्लेज़ प्लान पर मौजूद प्रोजेक्ट: आपसे उन Google Cloud Observability Suite प्रॉडक्ट के इस्तेमाल का शुल्क लिया जाएगा जिनका इस्तेमाल एआई मॉनिटरिंग करती है. भले ही, आपने Gemini API सेवा देने वाली कोई भी कंपनी चुनी हो. हालांकि, हर Google Cloud Observability Suite प्रॉडक्ट में बिना किसी शुल्क के इस्तेमाल किए जा सकने वाले कई टियर उपलब्ध हैं. ज़्यादा जानने के लिए, Google Cloud Observability Suite कीमत से जुड़ा दस्तावेज़ पढ़ें.
(ज़रूरी नहीं) प्रॉम्प्ट और जवाब सेव करने की सुविधा बंद करना
एआई मॉनिटरिंग की सुविधा, डिफ़ॉल्ट रूप से मॉडल को भेजे गए असल प्रॉम्प्ट और मॉडल से जनरेट हुए जवाबों को कैप्चर करती है. इसमें उन प्रॉम्प्ट और जवाबों में मौजूद संवेदनशील जानकारी (जैसे, व्यक्तिगत पहचान से जुड़ी जानकारी (पीआईआई)) भी शामिल होती है. यह सारा डेटा Cloud Logging में सेव किया जाता है, ताकि इसे Firebase कंसोल में ऐक्सेस किया जा सके.
प्रॉम्प्ट और जवाबों को सेव करने की सुविधा बंद करने के लिए, अपने Cloud Logging सिंक में यह एक्सक्लूज़न फ़िल्टर जोड़ें. आम तौर पर, यह _Default सिंक होता है:
resource.type="firebasevertexai.googleapis.com/Model"
Google Cloud कंसोल में प्रोजेक्ट-लेवल की एपीआई मेट्रिक देखना
हर एपीआई के लिए, प्रोजेक्ट-लेवल की मेट्रिक देखी जा सकती हैं. जैसे, Google Cloud कंसोल में जाकर एपीआई के इस्तेमाल की जानकारी देखना.
ध्यान दें कि इस सेक्शन में बताए गए Google Cloud कंसोल पेजों में, अनुरोध और जवाब के कॉन्टेंट और टोकन की गिनती जैसी जानकारी शामिल नहीं होती है. इस तरह की जानकारी को मॉनिटर करने के लिए, Firebase कंसोल में एआई मॉनिटरिंग का इस्तेमाल करें (पिछला सेक्शन देखें).
Google Cloud कंसोल में, उस एपीआई के मेट्रिक पेज पर जाएं जिसकी मेट्रिक आपको देखनी है:
Agent Platform एपीआई: Agent Platform Gemini API (formerly Vertex AI) को किए गए किसी भी अनुरोध से जुड़े इस्तेमाल की जानकारी देखें.
- इसमें Firebase AI Logic क्लाइंट एसडीके, Google GenAI सर्वर एसडीके, Genkit, Firebase Extensions, Gemini API, REST API, Agent Studio वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.
Gemini Developer API: Gemini Developer API को किए गए किसी भी अनुरोध से जुड़े इस्तेमाल की जानकारी देखें.
- इसमें Firebase AI Logic क्लाइंट एसडीके, Google GenAI सर्वर एसडीके, Genkit, Firebase Extensions, Gemini API, REST API, Google AI Studio वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.
- Google Cloud कंसोल में इस एपीआई का डिसप्ले नेम "Generative Language API" है.
अगर आपको एपीआई के लिए "खास जानकारी वाला पेज" दिखता है, तो मैनेज करें पर क्लिक करें. इसके बाद, मेट्रिक टैब पर क्लिक करें.
ड्रॉप-डाउन मेन्यू का इस्तेमाल करके, अपनी दिलचस्पी की मेट्रिक देखें. जैसे, रिस्पॉन्स कोड के हिसाब से ट्रैफ़िक, एपीआई के तरीके के हिसाब से गड़बड़ियां, कुल लेटेन्सी, और एपीआई के तरीके के हिसाब से लेटेन्सी.