फायरबेस टेस्ट लैब परिणामों का विश्लेषण करें

आपके एंड्रॉइड ऐप पर परीक्षण चलाने के लिए फायरबेस टेस्ट लैब का उपयोग करने के कई तरीके हैं, जिसमें कमांड लाइन इंटरफ़ेस , एंड्रॉइड स्टूडियो , फायरबेस कंसोल में टेस्ट लैब यूआई और टेस्टिंग एपीआई शामिल हैं । हालाँकि आप अपने परीक्षण शुरू करना चुनते हैं, परिणाम आपके द्वारा निर्दिष्ट फायरबेस प्रोजेक्ट में संग्रहीत होते हैं। आप उपरोक्त किसी भी टूल के अलावा ToolResults API का उपयोग करके परिणामों का पता लगा सकते हैं। यह पृष्ठ बताता है कि इन परीक्षण परिणामों की समीक्षा और विश्लेषण कैसे करें।

महत्वपूर्ण अवधारणाएं

अपने पिछले सभी टेस्ट रन के परिणाम देखने के लिए, फायरबेस कंसोल में अपने प्रोजेक्ट के बाएं नेविगेशन पैनल में टेस्ट लैब का चयन करें। यह पृष्ठ उन ऐप्स के सभी परीक्षण रन प्रदर्शित करता है जिन्हें आपने टेस्ट लैब का उपयोग करके अपने प्रोजेक्ट के साथ परीक्षण किया है।

परीक्षण परिणामों की समीक्षा करने के लिए, आपको पहले तीन अवधारणाओं को समझना होगा:

जब आप अपने द्वारा चुने गए उपकरणों और कॉन्फ़िगरेशन के विरुद्ध एक परीक्षण या परीक्षण मामलों का एक सेट चलाते हैं, तो टेस्ट लैब आपके ऐप के विरुद्ध एक बैच में परीक्षण चलाता है, फिर परिणामों को परीक्षण मैट्रिक्स के रूप में प्रदर्शित करता है।

उपकरण × परीक्षण निष्पादन = परीक्षण मैट्रिक्स

उपकरण
एक भौतिक या आभासी उपकरण (केवल Android) जिस पर आप परीक्षण चलाते हैं, जैसे फ़ोन, टैबलेट, या पहनने योग्य उपकरण। परीक्षण मैट्रिक्स में डिवाइस की पहचान डिवाइस मॉडल, ओएस संस्करण, स्क्रीन ओरिएंटेशन और लोकेल (जिसे भूगोल और भाषा सेटिंग्स के रूप में भी जाना जाता है) द्वारा की जाती है।
परीक्षण, परीक्षण निष्पादन
किसी डिवाइस पर चलाया जाने वाला परीक्षण (या परीक्षण मामलों का एक सेट)। आप प्रति डिवाइस एक परीक्षण चला सकते हैं, या वैकल्पिक रूप से परीक्षण को शार्प कर सकते हैं और इसके परीक्षण मामलों को विभिन्न उपकरणों पर चला सकते हैं।
टेस्ट मैट्रिक्स
इसमें आपके परीक्षण निष्पादन की स्थितियाँ और परीक्षण परिणाम शामिल हैं। यदि किसी मैट्रिक्स में कोई परीक्षण निष्पादन विफल हो जाता है, तो संपूर्ण मैट्रिक्स विफल हो जाता है।

निम्नलिखित अनुभाग बताते हैं कि परीक्षण परिणामों को कैसे नेविगेट किया जाए।

परीक्षण इतिहास परिणामों की व्याख्या करें

जब आप टेस्ट लैब का चयन करके अपने परीक्षण परिणामों पर नेविगेट करते हैं, तो आप अब तक चलाए गए परीक्षणों के परिणाम देखते हैं।

परीक्षण इतिहास को ऐप द्वारा समूहीकृत किया गया है। प्रत्येक ऐप के लिए केवल नवीनतम पांच परीक्षण मैट्रिक्स दिखाए गए हैं; यदि अधिक उपलब्ध हैं, तो आप उस ऐप की पूरी सूची देखने के लिए ऐप परीक्षण सूची के नीचे ऑल मैट्रिसेस लिंक पर क्लिक कर सकते हैं।

परीक्षण मैट्रिक्स परिणामों की व्याख्या करें

टेस्ट लैब यूआई के माध्यम से परीक्षण शुरू करते समय, आपको एक पृष्ठ पर पुनः निर्देशित किया जाता है जहां आप अपना परीक्षण मैट्रिक्स देख सकते हैं और परीक्षण परिणाम देखने के लिए एक विशिष्ट परीक्षण निष्पादन पर क्लिक कर सकते हैं। एंड्रॉइड स्टूडियो और जीक्लाउड कमांड परीक्षण मैट्रिक्स परिणाम पृष्ठ के लिए एक यूआरएल भी प्रदान करते हैं।

एक सामान्य परीक्षण मैट्रिक्स में, आप एक दर्जन या उससे अधिक विभिन्न उपकरणों पर एक परीक्षण चला सकते हैं। प्रत्येक परीक्षण निष्पादन का एक अलग परिणाम हो सकता है। परीक्षण मैट्रिक्स में किसी भी परीक्षण निष्पादन के संभावित परिणामों में निम्नलिखित शामिल हैं:

  • उत्तीर्ण परीक्षा उत्तीर्ण की : कोई विफलता सामने नहीं आई।
  • असफलपरीक्षण विफल : कम से कम एक विफलता का सामना करना पड़ा।
  • दुविधा में पड़ा हुआ परीक्षा उत्तीर्ण की : परीक्षण के परिणाम अनिर्णायक थे, संभवतः परीक्षण लैब त्रुटि के कारण।
  • छोड़ा गया परीक्षा उत्तीर्ण की : मैट्रिक्स में कुछ परीक्षण निष्पादन के लिए चयनित आयाम मान असंगत थे। ऐसा तब होता है जब आपके द्वारा चुने गए डिवाइस आपके द्वारा चुने गए एक या अधिक एंड्रॉइड एपीआई स्तरों के साथ असंगत होते हैं।

अपने फायरबेस प्रोजेक्ट में किसी दिए गए ऐप के लिए सभी परीक्षण मैट्रिक्स के समग्र परीक्षण परिणामों की समीक्षा करने के लिए, ऐप के नाम पर क्लिक करें, जैसा कि निम्नलिखित उदाहरण में दिखाया गया है:

केवल चार परीक्षण निष्पादन के साथ उदाहरण परीक्षण मैट्रिक्स परिणाम पृष्ठ टेस्ट मैट्रिक्स परिणाम

यह आपको आपके ऐप के लिए टेस्ट मैट्रिक्स सूची में ले जाता है, जहां आप टेस्ट मैट्रिक्स परिणाम देखने के लिए किसी भी टेस्ट मैट्रिक्स के नाम पर क्लिक कर सकते हैं, और जहां आप ऐप का नाम (नीचे लाल बॉक्स में दिखाया गया है) देखने के लिए क्लिक कर सकते हैं। आपके फायरबेस प्रोजेक्ट से जुड़े अन्य ऐप्स के लिए परीक्षण मैट्रिक्स सूची।

उदाहरण परीक्षण मैट्रिक्स सूची पृष्ठ टेस्ट मैट्रिक्स सूची

एक परीक्षण मैट्रिक्स उत्तीर्ण, असफल या अनिर्णायक हो सकता है। एक परीक्षण मैट्रिक्स को विफल या अनिर्णायक के रूप में दिखाया जाता है यदि उस मैट्रिक्स में कोई भी परीक्षण निष्पादन विफल हो जाता है या अनिर्णायक होता है।

रोबो परीक्षण परिणामों की व्याख्या करें

यदि आपने रोबो के साथ अपने परीक्षण चलाए, तो आपके परिणामों में सामान्य परीक्षण मेट्रिक्स के अलावा, आपके यूआई को क्रॉल करने वाले रोबो के वीडियो और स्क्रीनशॉट शामिल होंगे। उन वीडियो और स्क्रीनशॉट में एंड्रॉइड में 'शो टच' सुविधा के समान, क्रॉल के दौरान रोबो द्वारा की गई कार्रवाइयों के दृश्य संकेत शामिल हैं। आप रोबो की प्रगति का अनुसरण करने में मदद के लिए संकेतों का उपयोग कर सकते हैं, और इसके द्वारा उजागर होने वाले किसी भी बग को पुन: उत्पन्न कर सकते हैं।

उदाहरण रोबो परीक्षण परिणाम वीडियो

रोबो परीक्षण के परिणाम

एकल परीक्षण निष्पादन से परिणामों की व्याख्या करें

परीक्षण मैट्रिक्स परिणाम पृष्ठ से, उस विशिष्ट परीक्षण निष्पादन के परिणाम को देखने के लिए किसी एक परीक्षण निष्पादन पर क्लिक करें।

उदाहरण परीक्षण निष्पादन परिणाम पृष्ठ परीक्षण निष्पादन परिणाम

इस पृष्ठ पर, आप प्रत्येक परीक्षण निष्पादन के लिए आवश्यक समय देख सकते हैं। आप विशिष्ट परीक्षण मामलों के परिणाम भी देख सकते हैं जो आपके परीक्षण एपीके (इंस्ट्रूमेंटेशन परीक्षणों के लिए) के तरीकों और परीक्षण लॉग, स्क्रीनशॉट और वीडियो सहित विस्तृत परीक्षण परिणामों के अनुरूप हैं। रोबो परीक्षण के लिए, विस्तृत परीक्षण परिणामों में एक गतिविधि मानचित्र भी शामिल होता है जो ग्राफ़िक रूप से उन यूआई पथों को दिखाता है जो रोबो परीक्षण द्वारा देखे गए थे।

विभाजित इंस्ट्रुमेंटेशन परीक्षण के परिणाम

उपकरण परीक्षण परिणामों की व्याख्या करने में आपकी मदद करने के लिए, टेस्ट लैब प्रत्येक परीक्षण को स्टैक ट्रेस, लॉग और वीडियो के साथ अपने स्वयं के विस्तृत रिपोर्ट पृष्ठ में अलग करता है। यह सुविधा काम करती है चाहे आप एंड्रॉइड ऑर्केस्ट्रेटर का उपयोग कर रहे हों या नहीं।

उदाहरण टेस्टकेस परिणाम पृष्ठ टेस्टकेस परिणाम

अभिगम्यता परिणामों की व्याख्या करें

रोबो परीक्षण आपके ऐप में पहुंच संबंधी समस्याओं का पता लगाने के लिए एंड्रॉइड एक्सेसिबिलिटी स्कैनर का उपयोग करते हैं (ध्यान दें कि आप अपने डिवाइस पर स्थानीय रूप से भी स्कैन चला सकते हैं)। अपने रोबो परीक्षण के एक्सेसिबिलिटी परिणामों की समीक्षा और व्याख्या करने के निर्देशों के लिए, एक्सेसिबिलिटी स्कैनर के साथ आरंभ करें पर जाएं।

अपने ऐप की पहुंच को बेहतर बनाने के तरीके के बारे में सामान्य जानकारी के लिए, एंड्रॉइड डेवलपर एक्सेसिबिलिटी दस्तावेज़ पर जाएं।

प्रदर्शन मेट्रिक्स

भौतिक उपकरणों पर चलाए गए परीक्षण भी प्रदर्शन मेट्रिक्स लौटाते हैं:

मीट्रिक आवश्यक डिवाइस कॉन्फ़िगरेशन
ऐप स्टार्टअप समय एपीआई 19+
सि पि यु का उपयोग एपीआई 21+
स्मृति प्रयोग
नेटवर्क गतिविधि
चित्र हर क्षण में एपीआई 21+ और इसमें एक SurfaceView शामिल है
ग्राफ़िक्स प्रदर्शन एपीआई 23+

ग्राफ़िक्स प्रदर्शन विवरण

ग्राफ़िक्स प्रदर्शन रिपोर्ट में कई प्रमुख ग्राफ़िक्स मेट्रिक्स के आँकड़े शामिल हैं:

  • छूटे हुए Vsync: छूटे हुए Vsync ईवेंट की संख्या, उन फ़्रेमों की संख्या से विभाजित होती है जिन्हें रेंडर करने में 16 एमएस से अधिक समय लगा।
  • उच्च इनपुट विलंबता: 24 एमएस से अधिक समय लेने वाले इनपुट इवेंट की संख्या को उन फ़्रेमों की संख्या से विभाजित किया जाता है जिन्हें प्रस्तुत करने में 16 एमएस से अधिक समय लगा।
  • धीमा यूआई थ्रेड: यूआई थ्रेड को पूरा होने में 8 एमएस से अधिक समय लगने की संख्या को उन फ़्रेमों की संख्या से विभाजित किया जाता है जिन्हें प्रस्तुत करने में 16 एमएस से अधिक समय लगा।
  • धीमी गति से ड्रा कमांड: GPU को ड्रा कमांड भेजने में 12 एमएस से अधिक समय लगने की संख्या को उन फ़्रेमों की संख्या से विभाजित किया जाता है जिन्हें रेंडर करने में 16 एमएस से अधिक समय लगा।
  • धीमे बिटमैप अपलोड: GPU पर अपलोड करने में बिटमैप को 3.2 एमएस से अधिक समय लगने की संख्या को उन फ़्रेमों की संख्या से विभाजित किया जाता है जिन्हें प्रस्तुत करने में 16 एमएस से अधिक समय लगा।
  • रेंडर समय: परीक्षण रन के प्रत्येक फ्रेम के लिए रेंडर समय का वितरण। 32 मिलीसेकंड से अधिक का रेंडर समय आपके यूआई की स्पष्ट मंदी का कारण बनता है। 700+ का रेंडर समय जमे हुए फ़्रेमों को दर्शाता है। रेंडर डेटा dumpsys graphicsstats से इकट्ठा किया जाता है।

विस्तृत परीक्षण परिणाम

विस्तृत परीक्षण परिणाम आपके परीक्षण चलाने के बाद 90 दिनों तक उपलब्ध रहते हैं और Google क्लाउड स्टोरेज बकेट में संग्रहीत होते हैं (लेकिन फायरबेस कंसोल में भी दिखाई देते हैं)। जब आप परीक्षण निष्पादन परिणाम पृष्ठ पर परीक्षण परिणाम पर क्लिक करते हैं तो आप क्लाउड स्टोरेज बकेट में विस्तृत परीक्षण परिणाम देख सकते हैं। जब विस्तृत परीक्षण परिणाम उपलब्ध नहीं होते हैं, तब भी आप देख सकते हैं कि कौन से परीक्षण उत्तीर्ण हुए या असफल।

विस्तृत परीक्षण परिणामों को 90 दिनों से अधिक समय तक बनाए रखने के लिए, आपको इन परीक्षण परिणामों को --results-bucket gcloud कमांड-लाइन विकल्प का उपयोग करके अपने स्वामित्व वाले क्लाउड स्टोरेज बकेट में भेजना होगा। फिर आप यह निर्धारित करने के लिए आयु सेटिंग सेट कर सकते हैं कि आपके क्लाउड स्टोरेज बकेट में परिणाम कितने समय तक संग्रहीत हैं। आयु सेटिंग बदलने के तरीके के बारे में जानकारी के लिए जीवनचक्र शर्तें देखें।