खर्च, इस्तेमाल, और अन्य मेट्रिक पर नज़र रखना

अपने ऐप्लिकेशन में एआई की सुविधाओं के इस्तेमाल की लागत, इस्तेमाल के आंकड़े, और अन्य मेट्रिक पर नज़र रखना, प्रोडक्शन ऐप्लिकेशन को चलाने का एक अहम हिस्सा है. आपको यह जानने की ज़रूरत है कि आपके ऐप्लिकेशन के लिए, सामान्य इस्तेमाल के पैटर्न कैसे दिखते हैं. साथ ही, यह पक्का करना होगा कि आप उन थ्रेशोल्ड के अंदर रहें जो आपके लिए अहम हैं.

इस पेज पर, लागत, इस्तेमाल के आंकड़े, और अन्य मेट्रिक पर नज़र रखने के लिए, Firebase कंसोल और Google Cloud कंसोल, दोनों में कुछ सुझाए गए विकल्पों के बारे में बताया गया है.

लागत पर नज़र रखना

Firebase कंसोल के इस्तेमाल और बिलिंग डैशबोर्ड में, Firebase और Gemini Developer API को कॉल करने के लिए, अपने प्रोजेक्ट की लागत देखी जा सकती है. यह सुविधा, Blaze के प्राइसिंग प्लान पर उपलब्ध है.Vertex AI Gemini API

डैशबोर्ड पर दिखाई गई लागत, ज़रूरी नहीं कि क्लाइंट SDK टूल का इस्तेमाल करके किए गए कॉल के लिए ही हो.Firebase AI Logic दिखाई गई लागत "Gemini API" को किए गए किसी भी कॉल से जुड़ी होती है. भले ही, ये कॉल Firebase AI Logic क्लाइंट SDK टूल, the Google GenAI सर्वर SDK टूल, Genkit, Firebase Extensions for the Gemini API, REST कॉल, AI Studio में से किसी एक या अन्य एपीआई क्लाइंट का इस्तेमाल करके किए गए हों.

कीमत के बारे में ज़्यादा जानें. यह कीमत, Firebase AI Logic के इस्तेमाल से जुड़े प्रॉडक्ट के लिए है.

अलर्ट सेट अप करना

Blaze के प्राइसिंग प्लान पर, बिल में अचानक बढ़ोतरी से बचने के लिए, यह पक्का करें कि आप बजट अलर्ट सेट अप करें.

ध्यान दें कि बजट अलर्ट, बजट की सीमा नहीं होते. कॉन्फ़िगर किए गए थ्रेशोल्ड के आस-पास पहुंचने या उसे पार करने पर, आपको एक अलर्ट भेजा जाएगा. इससे, अपने ऐप्लिकेशन या प्रोजेक्ट में कार्रवाई की जा सकती है.

Firebase कंसोल में, एआई की सुविधाओं के इस्तेमाल पर नज़र रखना

Firebase Firebase कंसोल के Firebase AI Logic पेज पर, एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा चालू की जा सकती है. इससे, ऐप्लिकेशन-लेवल की अलग-अलग मेट्रिक और इस्तेमाल के आंकड़े देखे जा सकते हैं . साथ ही, Firebase AI Logic क्लाइंट SDK टूल से किए गए अनुरोधों के बारे में पूरी जानकारी पाई जा सकती है. ये डैशबोर्ड, Count Tokens API को कॉल करने पर मिलने वाली टोकन की बुनियादी संख्या से ज़्यादा जानकारी देते हैं.

Firebase कंसोल में, एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा की मुख्य क्षमताएं:Firebase

  • अपने हर ऐप्लिकेशन के लिए, मात्रा से जुड़ी मेट्रिक देखना. जैसे, अनुरोधों की संख्या, इंतज़ार का समय, गड़बड़ियां, और हर मोडैलिटी के लिए टोकन का इस्तेमाल.

  • अपने अनुरोधों के एट्रिब्यूट, इनपुट, और आउटपुट देखने के लिए, ट्रेस की जांच करना. इससे, डीबग करने और क्वालिटी बेहतर बनाने में मदद मिल सकती है.

  • अनुरोध की स्थिति, कम से कम इंतज़ार का समय, मॉडल का नाम वगैरह जैसे डाइमेंशन के हिसाब से डेटा को स्लाइस करना.

इन सभी सुविधाओं को Google Cloud Observability Suite का इस्तेमाल करके बनाया गया है (ज़्यादा जानकारी के लिए प्रॉडक्ट की जानकारी देखें).

एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा चालू करना

Firebase कंसोल में, एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा इन तरीकों से चालू की जा सकती है: Firebase कंसोल:

एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा चालू करने और इस्तेमाल करने के लिए ज़रूरी शर्तें:

  • आपके पास प्रोजेक्ट के मालिक, एडिटर या Firebase Vertex AI एडमिन की भूमिका होनी चाहिए.

  • आपके ऐप्लिकेशन में, Firebase की इन लाइब्रेरी के वर्शन कम से कम इस्तेमाल होने चाहिए:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • आपके ऐप्लिकेशन में, ऑप्ट-इन डेटा कलेक्शन की सुविधा चालू होनी चाहिए. यह सुविधा, डिफ़ॉल्ट रूप से चालू होती है.

अगर आपका ऐप्लिकेशन इन ज़रूरी शर्तों को पूरा करता है और आपने कंसोल में, एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा चालू की है, तो आपको अपने ऐप्लिकेशन या कंसोल में कुछ और करने की ज़रूरत नहीं है. इसके बाद, AI Services > AI Logic > AI monitoring टैब में मौजूद डैशबोर्ड में डेटा दिखने लगेगा. Firebase कंसोल में, किसी अनुरोध से मिले टेलीमेट्री डेटा के दिखने में थोड़ी देरी (कभी-कभी पांच मिनट तक) हो सकती है.

बेहतर इस्तेमाल के लिए

इस सेक्शन में, सैंपलिंग रेट कॉन्फ़िगरेशन के साथ-साथ, अपने डेटा को देखने और उसके साथ काम करने के अलग-अलग विकल्पों के बारे में बताया गया है.

सैंपलिंग रेट

अगर बड़ी संख्या में अनुरोध किए जा रहे हैं, तो हमारा सुझाव है कि सैंपलिंग रेट कॉन्फ़िगरेशन का फ़ायदा लें. सैंपलिंग रेट से पता चलता है कि ट्रेस की जानकारी असल में कितने अनुरोधों के लिए इकट्ठा की जाती है.

Firebase कंसोल के AI Services > AI Logic > सेटिंग टैब में, अपने प्रोजेक्ट के लिए सैंपलिंग रेट को 1 से 100% के बीच किसी भी वैल्यू पर कॉन्फ़िगर किया जा सकता है. 100% का मतलब है कि एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा, आपके सभी ट्रैफ़िक से ट्रेस इकट्ठा करेगी. डिफ़ॉल्ट रूप से, यह 100% पर सेट होता है. कम ट्रेस इकट्ठा करने से, आपकी लागत कम हो जाएगी. हालांकि, इससे उन ट्रेस की संख्या भी कम हो जाएगी जिन पर नज़र रखी जा सकती है. ध्यान दें कि सैंपलिंग रेट चाहे जो भी हो, मॉनिटरिंग डैशबोर्ड में दिखाए गए ग्राफ़ हमेशा ट्रैफ़िक की असल संख्या को दिखाएंगे.

Firebase कंसोल के अलावा अन्य विकल्प

Firebase कंसोल में, एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा के अलावा, इन विकल्पों को भी आज़माएं:

एआई की परफ़ॉर्मेंस मॉनिटर करने के लिए इस्तेमाल किए जाने वाले प्रॉडक्ट के बारे में ज़्यादा जानकारी

एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा, आपके टेलीमेट्री डेटा को Google Cloud Observability Suite में मौजूद अलग-अलग प्रॉडक्ट में सेव करती है. इनमें Cloud Monitoring, Cloud Trace, और Cloud Logging शामिल हैं.

  • Cloud Monitoring: मेट्रिक सेव करता है. इनमें अनुरोधों की संख्या, सफलता दर, और अनुरोध में लगने वाला समय शामिल है.

  • Cloud Trace: आपके हर अनुरोध के लिए ट्रेस सेव करता है, ताकि इन्हें इकट्ठा करने के बजाय अलग-अलग देखा जा सके. आम तौर पर, कोई ट्रेस लॉग से जुड़ा होता है, ताकि हर इंटरैक्शन का कॉन्टेंट और समय देखा जा सके.

  • Cloud Logging: इनपुट, आउटपुट, और कॉन्फ़िगरेशन मेटाडेटा कैप्चर करता है, ताकि एआई के हर अनुरोध के बारे में ज़्यादा जानकारी दी जा सके.

आपका टेलीमेट्री डेटा इन प्रॉडक्ट में सेव किया जाता है. इसलिए, हर प्रॉडक्ट में सीधे तौर पर, डेटा सेव करने की अवधि और ऐक्सेस सेटिंग तय की जा सकती हैं. ज़्यादा जानने के लिए, Cloud Monitoring, Cloud Trace और Cloud Logging के दस्तावेज़ देखें.

ध्यान दें कि एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा, असल प्रॉम्प्ट और जनरेट किए गए आउटपुट को सैंपल के तौर पर लिए गए हर अनुरोध से Cloud Logging में सेव करती है, ताकि Firebase कंसोल में इस डेटा को ऐक्सेस किया जा सके. प्रॉम्प्ट और जवाब सेव करने की सुविधा को बंद किया जा सकता है.

कीमत

  • बिना शुल्क वाले Spark के प्राइसिंग प्लान पर मौजूद प्रोजेक्ट (यह प्लान, सिर्फ़ Gemini Developer API का इस्तेमाल करने पर उपलब्ध है): एआई की परफ़ॉर्मेंस मॉनिटर करने के लिए, इससे जुड़ी सेवाओं का इस्तेमाल करने के लिए कोई शुल्क नहीं देना होगा.

  • इस्तेमाल के हिसाब से पैसे चुकाने वाले Blaze के प्राइसिंग प्लान पर मौजूद प्रोजेक्ट: एआई मॉनिटरिंग के लिए, जिन Google Cloud Observability Suite प्रॉडक्ट का इस्तेमाल किया जाता है उनके लिए शुल्क देना होगा. भले ही, Gemini API के सेवा देने वाले व्यक्ति के तौर पर किसे चुना गया हो. हालांकि, हर Google Cloud Observability Suite प्रॉडक्ट के लिए, बिना शुल्क वाले कई टियर उपलब्ध हैं. ज़्यादा जानने के लिए, Google Cloud Observability Suite कीमत से जुड़ा दस्तावेज़ देखें.

(ज़रूरी नहीं) प्रॉम्प्ट और जवाब सेव करने की सुविधा बंद करना

डिफ़ॉल्ट रूप से, एआई मॉनिटरिंग, मॉडल को भेजे गए असल प्रॉम्प्ट और मॉडल से जनरेट किए गए जवाबों को कैप्चर करती है. इनमें, उन प्रॉम्प्ट और जवाबों में मौजूद संवेदनशील जानकारी (जैसे, व्यक्तिगत पहचान से जुड़ी जानकारी (पीआईआई)) भी शामिल होती है. यह सारा डेटा, Cloud Logging में सेव किया जाता है, ताकि इसे Firebase कंसोल में ऐक्सेस किया जा सके.

प्रॉम्प्ट और जवाब सेव करने की सुविधा बंद करने के लिए, अपने Cloud Logging सिंक में, यह एक्सक्लूज़न फ़िल्टर जोड़ें (आम तौर पर, _Default सिंक): resource.type="firebasevertexai.googleapis.com/Model".

Google Cloud कंसोल में, प्रोजेक्ट-लेवल की एपीआई मेट्रिक देखना

हर एपीआई के लिए प्रोजेक्ट-लेवल की मेट्रिक देखी जा सकती हैं. जैसे, इस्तेमाल के आंकड़े. यह जानकारी Google Cloud कंसोल में उपलब्ध है.

ध्यान दें कि इस सेक्शन में बताए गए Google Cloud कंसोल के पेजों में, अनुरोध और जवाब का कॉन्टेंट और टोकन की संख्या जैसी जानकारी शामिल नहीं होती. इस तरह की जानकारी पर नज़र रखने के लिए, कंसोलFirebase में एआई की परफ़ॉर्मेंस मॉनिटर करने की सुविधा का इस्तेमाल करें . इसके बारे में, पिछला सेक्शन देखें.

  1. Google Cloud कंसोल में, उस एपीआई के मेट्रिक पेज पर जाएं जिसकी मेट्रिक देखनी हैं:

    • Vertex AI API: Vertex AI Gemini API को किए गए किसी भी अनुरोध से जुड़े इस्तेमाल के आंकड़े देखें.

      • इसमें, Firebase AI Logic क्लाइंट SDK टूल, Google GenAI सर्वर SDK टूल, Genkit, Firebase Extensions के लिए Gemini API, REST API, Vertex AI Studio, वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.

    • Gemini Developer API: को किए गए किसी भी अनुरोध से जुड़े इस्तेमाल के आंकड़े देखें Gemini Developer API.

      • इसमें, Firebase AI Logic क्लाइंट SDK टूल, Google GenAI सर्वर SDK टूल, Genkit, Firebase Extensions के लिए Gemini API, REST API, Google AI Studio, वगैरह का इस्तेमाल करके किए गए अनुरोध शामिल हैं.
      • इस एपीआई का डिसप्ले नेम Google Cloud कंसोल में "Generative Language API" है.

    अगर आपको एपीआई के "खास जानकारी वाले पेज" पर रीडायरेक्ट किया जाता है, तो मैनेज करें पर क्लिक करें. इसके बाद, मेट्रिक टैब पर क्लिक करें.

    Firebase AI Logic

  2. अपनी पसंद की मेट्रिक देखने के लिए, ड्रॉप-डाउन मेन्यू का इस्तेमाल करें. जैसे, रिस्पॉन्स कोड के हिसाब से ट्रैफ़िक, एपीआई के तरीके के हिसाब से गड़बड़ियां, कुल इंतज़ार का समय, और एपीआई के तरीके के हिसाब से इंतज़ार का समय.