एआई की सुविधाओं की लागत, उनके इस्तेमाल, और अन्य मेट्रिक पर नज़र रखना, प्रोडक्शन ऐप्लिकेशन को चलाने का एक अहम हिस्सा है. आपको यह पता होना चाहिए कि आपके ऐप्लिकेशन के लिए, सामान्य इस्तेमाल के पैटर्न कैसे दिखते हैं. साथ ही, यह पक्का करना होगा कि आप उन थ्रेशोल्ड के अंदर रहें जो आपके लिए ज़रूरी हैं.
इस पेज पर, Firebase console और Google Cloud console, दोनों में लागत, इस्तेमाल, और अन्य मेट्रिक को मॉनिटर करने के लिए कुछ सुझाए गए विकल्पों के बारे में बताया गया है.
लागतों पर नज़र रखना
Firebase कंसोल के इस्तेमाल और बिलिंग डैशबोर्ड में जाकर, अपने प्रोजेक्ट के लिए Agent Platform Gemini API (formerly Vertex AI) और Gemini Developer API को कॉल करने की लागत देखी जा सकती है. हालांकि, की लागत सिर्फ़ तब दिखेगी, जब आपने Blaze प्लान लिया हो.
डैशबोर्ड पर दिखाई गई लागत, ज़रूरी नहीं कि Firebase AI Logic क्लाइंट एसडीके का इस्तेमाल करके की गई कॉल के लिए हो. दिखाए गए शुल्क, "Gemini API" के किसी भी कॉल से जुड़े हैं. भले ही, वे Firebase AI Logic क्लाइंट एसडीके, Google GenAI सर्वर एसडीके, Genkit, Gemini API के लिए Firebase Extensions, REST कॉल, AI Studio में से किसी एक या अन्य एपीआई क्लाइंट का इस्तेमाल कर रहे हों.
Firebase AI Logic का इस्तेमाल करके दिखाए जाने वाले प्रॉडक्ट की कीमत के बारे में ज़्यादा जानें.
बजट की सूचनाएं और खर्च की सीमाएं सेट अप करना
Blaze प्लान का इस्तेमाल करते समय, अचानक मिलने वाले बिल से बचने के लिए, बजट अलर्ट और खर्च की सीमाएं सेट अप करें.
ध्यान दें कि बजट की सूचनाएं, बजट की सीमाएं नहीं होती हैं. जब आपका खर्च, बजट के किसी थ्रेशोल्ड तक पहुंच जाएगा, तब आपको चेतावनी वाले ईमेल भेजे जाएंगे. इससे आपको अपने ऐप्लिकेशन या प्रोजेक्ट में कार्रवाई शुरू करने का मौका मिलेगा. अगर आपको बजट खत्म होने पर सेवा को रोकना है, तो आपको खर्च की सीमा वाला बजट सेट करना होगा.
Firebase कंसोल में, एआई की सुविधाओं के इस्तेमाल पर नज़र रखना
Firebase कंसोल के Firebase AI Logic पेज में जाकर, एआई मॉनिटरिंग की सुविधा चालू की जा सकती है. इससे आपको ऐप्लिकेशन-लेवल की अलग-अलग मेट्रिक और इस्तेमाल की जानकारी मिल सकती है. साथ ही, Firebase AI Logic क्लाइंट एसडीके टूल से मिले अनुरोधों के बारे में पूरी जानकारी मिल सकती है. ये डैशबोर्ड, Count Tokens API को कॉल करने पर मिलने वाले टोकन की बुनियादी संख्या से ज़्यादा जानकारी देते हैं.
Firebase कंसोल में एआई की परफ़ॉर्मेंस मॉनिटर करने की मुख्य सुविधाएं ये हैं:
क्वांटिटेटिव मेट्रिक देखना. जैसे, अनुरोधों की संख्या, अनुरोध पूरा होने में लगा समय, गड़बड़ियां, और आपके हर ऐप्लिकेशन के लिए, हर मोड के हिसाब से टोकन का इस्तेमाल.
अपने अनुरोधों के एट्रिब्यूट, इनपुट, और आउटपुट देखने के लिए ट्रेस की जांच करना. इससे डीबग करने और क्वालिटी को बेहतर बनाने में मदद मिल सकती है.
डाइमेंशन के हिसाब से डेटा को स्लाइस करना. जैसे, अनुरोध की स्थिति, कम से कम लेटेन्सी, मॉडल का नाम वगैरह.
इन सभी सुविधाओं को Google Cloud Observability Suite का इस्तेमाल करके बनाया गया है. इसके बारे में ज़्यादा जानने के लिए, यहां प्रॉडक्ट की पूरी जानकारी देखें.
एआई मॉनिटरिंग की सुविधा चालू करना
Firebase कंसोल में, एआई मॉनिटरिंग की सुविधा चालू करने के तरीके यहां दिए गए हैं:
एआई सेवाएं > Firebase AI Logic पेज पर जाकर, शुरुआती सेटअप के लिए दिए गए निर्देशों का पालन करें
एआई सेवाएं > एआई लॉजिक > सेटिंग टैब में जाकर, किसी भी समय
एआई मॉनिटरिंग की सुविधा चालू करने और इसका इस्तेमाल करने के लिए ज़रूरी शर्तें:
आपके पास प्रोजेक्ट के मालिक, एडिटर या Firebase Vertex AI एडमिन की भूमिका होनी चाहिए.
आपके ऐप्लिकेशन में, Firebase लाइब्रेरी के कम से कम ये वर्शन इस्तेमाल होने चाहिए:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+आपके ऐप्लिकेशन में, डेटा कलेक्शन के लिए ऑप्ट-इन करने की सुविधा चालू होनी चाहिए. यह सुविधा डिफ़ॉल्ट रूप से चालू होती है.
जब आपका ऐप्लिकेशन इन ज़रूरी शर्तों को पूरा कर लेता है और आपने कंसोल में एआई मॉनिटरिंग की सुविधा चालू कर दी है, तो आपको अपने ऐप्लिकेशन या कंसोल में कुछ और करने की ज़रूरत नहीं है. इसके बाद, आपको एआई सेवाएं > एआई लॉजिक > एआई मॉनिटरिंग टैब में मौजूद डैशबोर्ड में डेटा दिखने लगेगा. अनुरोध से मिले टेलीमेट्री डेटा को Firebase कंसोल में उपलब्ध होने में थोड़ा समय लग सकता है. कभी-कभी इसमें पांच मिनट तक लग सकते हैं.
ऐडवांस इस्तेमाल
इस सेक्शन में, सैंपलिंग रेट कॉन्फ़िगरेशन के बारे में बताया गया है. साथ ही, अपने डेटा को देखने और उसके साथ काम करने के अलग-अलग विकल्पों के बारे में भी बताया गया है.
सैंपल रेट
अगर आपको बड़ी संख्या में अनुरोध करने हैं, तो हमारा सुझाव है कि आप सैंपलिंग रेट कॉन्फ़िगरेशन का इस्तेमाल करें. सैंपलिंग रेट से पता चलता है कि कितने अनुरोधों के लिए, ट्रेस की जानकारी इकट्ठा की जाती है.
Firebase कंसोल में, एआई सेवाएं > एआई लॉजिक > सेटिंग टैब में जाकर, अपने प्रोजेक्ट के लिए सैंपलिंग रेट को कॉन्फ़िगर किया जा सकता है. इसके लिए, 1 से 100% तक की कोई वैल्यू चुनें. 100% का मतलब है कि एआई मॉनिटरिंग, आपके सभी ट्रैफ़िक से ट्रेस इकट्ठा करेगी. डिफ़ॉल्ट रूप से, यह 100% पर सेट होता है. कम ट्रेस इकट्ठा करने से, लागत कम हो जाएगी. हालांकि, इससे उन ट्रेस की संख्या भी कम हो जाएगी जिन्हें मॉनिटर किया जा सकता है. ध्यान दें कि सैंपलिंग रेट कुछ भी हो, मॉनिटरिंग डैशबोर्ड में दिखाए गए ग्राफ़ हमेशा ट्रैफ़िक की सही मात्रा दिखाएंगे.
Firebase कंसोल के बाहर मौजूद अन्य विकल्प
Firebase कंसोल में एआई की निगरानी की सुविधा उपलब्ध है. इसके अलावा, इन विकल्पों पर भी विचार करें:
Vertex AI Model Garden देखें.
इन डैशबोर्ड से, मैनेज किए गए मॉडल के लिए लेटेन्सी और थ्रूपुट के रुझानों के बारे में ज़्यादा जानकारी मिलती है. इससे आपको Firebase कंसोल में एआई मॉनिटरिंग से मिली जानकारी को बेहतर बनाने में मदद मिलती है.Google Cloud Observability Suite
की मदद से, अपने डेटा को एक्सप्लोर करें और उसका इस्तेमाल करें एआई मॉनिटरिंग के लिए टेलीमेट्री डेटा, आपके प्रोजेक्ट से जुड़े Google Cloud Observability Suite में सेव किया जाता है. इसलिए, इसके डैशबोर्ड में अपने डेटा को एक्सप्लोर किया जा सकता है. इसमें Trace Explorer और Logs Explorer भी शामिल हैं. ये Firebase कंसोल में आपके अलग-अलग ट्रेस की जांच करने के दौरान लिंक किए जाते हैं. अपने डेटा का इस्तेमाल करके, कस्टम डैशबोर्ड बनाए जा सकते हैं. साथ ही, सूचनाएं सेट अप की जा सकती हैं और अन्य काम किए जा सकते हैं.
एआई मॉनिटरिंग के लिए इस्तेमाल किए जाने वाले प्रॉडक्ट के बारे में पूरी जानकारी
एआई मॉनिटरिंग, आपके टेलीमेट्री डेटा को Google Cloud Observability Suite में उपलब्ध अलग-अलग प्रॉडक्ट में सेव करती है. इनमें Cloud Monitoring, Cloud Trace, और Cloud Logging शामिल हैं.
Cloud Monitoring: यह कुकी, मेट्रिक सेव करती है. इनमें अनुरोधों की संख्या, सक्सेस रेट, और अनुरोध में लगने वाला समय शामिल है.
Cloud Trace: यह आपके हर अनुरोध के लिए ट्रेस सेव करता है, ताकि आपको कुल जानकारी के बजाय अलग-अलग जानकारी दिख सके. ट्रेस को आम तौर पर लॉग से जोड़ा जाता है, ताकि हर इंटरैक्शन के कॉन्टेंट और समय की जांच की जा सके.
Cloud Logging: यह इनपुट, आउटपुट, और कॉन्फ़िगरेशन मेटाडेटा को कैप्चर करता है, ताकि एआई से किए गए आपके हर अनुरोध के बारे में ज़्यादा जानकारी दी जा सके.
आपका टेलीमेट्री डेटा इन प्रॉडक्ट में सेव किया जाता है. इसलिए, हर प्रॉडक्ट में जाकर, डेटा को बनाए रखने और उसे ऐक्सेस करने की सेटिंग तय की जा सकती हैं. इस बारे में ज़्यादा जानने के लिए, Cloud Monitoring, Cloud Trace, और Cloud Logging के दस्तावेज़ पढ़ें.
ध्यान दें कि एआई मॉनिटरिंग, Cloud Logging में सैंपल किए गए हर अनुरोध से मिले असल प्रॉम्प्ट और जनरेट किए गए आउटपुट को सेव करती है. इससे यह डेटा, Firebase कंसोल में ऐक्सेस किया जा सकता है. आपके पास प्रॉम्प्ट और जवाबों को सेव करने की सुविधा बंद करने का विकल्प होता है.
कीमत
बिना शुल्क वाले Spark प्लान के प्रोजेक्ट (यह प्लान सिर्फ़ Gemini Developer API का इस्तेमाल करने पर उपलब्ध है): एआई मॉनिटरिंग के लिए, बुनियादी सेवाओं का इस्तेमाल बिना किसी शुल्क के किया जा सकता है.
इस्तेमाल के हिसाब से पैसे चुकाने की सुविधा वाले Blaze प्लान पर मौजूद प्रोजेक्ट: आपसे उन Google Cloud Observability Suite प्रॉडक्ट के इस्तेमाल के लिए शुल्क लिया जाएगा जिनका इस्तेमाल एआई मॉनिटरिंग करती है. भले ही, आपने Gemini API सेवा देने वाली कोई भी कंपनी चुनी हो. हालांकि, हर Google Cloud Observability Suite प्रॉडक्ट के लिए, बिना किसी शुल्क के कई टियर उपलब्ध हैं. ज़्यादा जानने के लिए, Google Cloud Observability Suite कीमत से जुड़ा दस्तावेज़ पढ़ें.
(ज़रूरी नहीं) प्रॉम्प्ट और जवाब सेव करने की सुविधा बंद करना
एआई मॉनिटरिंग की सुविधा, डिफ़ॉल्ट रूप से मॉडल को भेजे गए असल प्रॉम्प्ट और मॉडल से जनरेट हुए जवाबों को कैप्चर करती है. इसमें उन प्रॉम्प्ट और जवाबों में मौजूद संवेदनशील जानकारी (जैसे, व्यक्तिगत पहचान से जुड़ी जानकारी (पीआईआई)) भी शामिल होती है. यह सारा डेटा Cloud Logging में सेव किया जाता है, ताकि इसे Firebase कंसोल में ऐक्सेस किया जा सके.
प्रॉम्प्ट और जवाबों को सेव करने की सुविधा बंद करने के लिए, अपने Cloud Logging सिंक में यह बाहर रखने वाला फ़िल्टर जोड़ें. आम तौर पर, यह _Default सिंक होता है: resource.type="firebasevertexai.googleapis.com/Model"
Google Cloud कंसोल में, प्रोजेक्ट-लेवल की एपीआई मेट्रिक देखना
हर एपीआई के लिए, प्रोजेक्ट-लेवल की मेट्रिक देखी जा सकती हैं. जैसे, इस्तेमाल. इसके लिए, Google Cloud कंसोल का इस्तेमाल करें.
ध्यान दें कि इस सेक्शन में बताए गए Google Cloud कंसोल पेजों में, अनुरोध और जवाब के कॉन्टेंट और टोकन की संख्या जैसी जानकारी शामिल नहीं होती है. इस तरह की जानकारी को मॉनिटर करने के लिए, Firebase कंसोल में एआई मॉनिटरिंग का इस्तेमाल करें (पिछला सेक्शन देखें).
Google Cloud कंसोल में, उस एपीआई के मेट्रिक पेज पर जाएं जिसकी मेट्रिक आपको देखनी है:
Agent Platform एपीआई: Agent Platform Gemini API (formerly Vertex AI) को किए गए किसी भी अनुरोध से जुड़ा इस्तेमाल देखें.
- इसमें Firebase AI Logic क्लाइंट एसडीके, Google GenAI सर्वर एसडीके, Genkit, Firebase Extensions, Gemini API, REST API, Agent Studio वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.
Gemini Developer API: Gemini Developer API को किए गए किसी भी अनुरोध से जुड़े इस्तेमाल की जानकारी देखें.
- इसमें Firebase AI Logic क्लाइंट एसडीके, Google GenAI सर्वर एसडीके, Genkit, Gemini API के लिए Firebase Extensions, REST API, Google AI Studio वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.
- Google Cloud कंसोल में इस एपीआई का डिसप्ले नेम "Generative Language API" है.
अगर आपको एपीआई के लिए "खास जानकारी देने वाला पेज" दिखता है, तो मैनेज करें पर क्लिक करें. इसके बाद, मेट्रिक टैब पर क्लिक करें.
ड्रॉप-डाउन मेन्यू का इस्तेमाल करके, अपनी दिलचस्पी की मेट्रिक देखें. जैसे, रिस्पॉन्स कोड के हिसाब से ट्रैफ़िक, एपीआई के तरीके के हिसाब से गड़बड़ियां, कुल लेटेन्सी, और एपीआई के तरीके के हिसाब से लेटेन्सी.