ফায়ারবেস টেস্ট ল্যাবের ফলাফল বিশ্লেষণ করুন

কমান্ড লাইন ইন্টারফেস , Android স্টুডিও , Firebase কনসোলে টেস্ট ল্যাব UI এবং টেস্টিং API সহ আপনার Android অ্যাপে পরীক্ষা চালানোর জন্য Firebase টেস্ট ল্যাব ব্যবহার করার একাধিক উপায় রয়েছে। যদিও আপনি আপনার পরীক্ষা শুরু করতে চান, ফলাফলগুলি আপনার নির্দিষ্ট করা Firebase প্রকল্পে সংরক্ষণ করা হয়। আপনি উপরের যেকোনও টুল ছাড়াও ToolResults API ব্যবহার করে ফলাফল অন্বেষণ করতে পারেন। এই পৃষ্ঠাটি কীভাবে এই পরীক্ষার ফলাফলগুলি পর্যালোচনা এবং বিশ্লেষণ করতে হয় তা বর্ণনা করে।

মূল ধারণা

আপনার পূর্ববর্তী সমস্ত পরীক্ষার ফলাফলগুলি দেখতে, Firebase কনসোলে আপনার প্রকল্পের বাম নেভিগেশন প্যানেলে টেস্ট ল্যাব নির্বাচন করুন৷ এই পৃষ্ঠাটি পরীক্ষা ল্যাব ব্যবহার করে আপনার প্রজেক্টের সাথে পরীক্ষা করা অ্যাপগুলি থেকে সমস্ত পরীক্ষা চালানো দেখায়।

পরীক্ষার ফলাফল পর্যালোচনা করতে, আপনাকে প্রথমে তিনটি ধারণা বুঝতে হবে:

যখন আপনি একটি পরীক্ষা চালান বা আপনার নির্বাচিত ডিভাইস এবং কনফিগারেশনের বিরুদ্ধে টেস্ট কেসগুলির একটি সেট, টেস্ট ল্যাব আপনার অ্যাপের বিরুদ্ধে একটি ব্যাচে পরীক্ষা চালায়, তারপর ফলাফলগুলিকে একটি পরীক্ষা ম্যাট্রিক্স হিসাবে প্রদর্শন করে৷

ডিভাইস × টেস্ট এক্সিকিউশন = টেস্ট ম্যাট্রিক্স

যন্ত্র
একটি শারীরিক বা ভার্চুয়াল ডিভাইস (কেবলমাত্র Android) যেটিতে আপনি একটি পরীক্ষা চালান, যেমন একটি ফোন, ট্যাবলেট বা পরিধানযোগ্য ডিভাইস। একটি টেস্ট ম্যাট্রিক্সের ডিভাইসগুলিকে ডিভাইস মডেল, OS সংস্করণ, স্ক্রিন অভিযোজন এবং লোকেল (ভূগোল এবং ভাষা সেটিংস হিসাবেও পরিচিত) দ্বারা চিহ্নিত করা হয়।
পরীক্ষা, পরীক্ষা নির্বাহ
একটি ডিভাইসে চালানোর জন্য একটি পরীক্ষা (বা পরীক্ষার কেসগুলির একটি সেট)৷ আপনি প্রতি ডিভাইসে একটি পরীক্ষা চালাতে পারেন, অথবা ঐচ্ছিকভাবে পরীক্ষাটি শার্ড করে বিভিন্ন ডিভাইসে এর টেস্ট কেস চালাতে পারেন।
টেস্ট ম্যাট্রিক্স
আপনার পরীক্ষা নির্বাহের জন্য স্ট্যাটাস এবং পরীক্ষার ফলাফল রয়েছে। একটি ম্যাট্রিক্সে কোনো পরীক্ষা সম্পাদন ব্যর্থ হলে, পুরো ম্যাট্রিক্স ব্যর্থ হয়।

নিম্নলিখিত বিভাগগুলি ব্যাখ্যা করে কিভাবে পরীক্ষার ফলাফল নেভিগেট করতে হয়।

পরীক্ষার ইতিহাসের ফলাফল ব্যাখ্যা করুন

যখন আপনি টেস্ট ল্যাব নির্বাচন করে আপনার পরীক্ষার ফলাফলে নেভিগেট করেন, তখন আপনি এখন পর্যন্ত চালানো পরীক্ষার ফলাফল দেখতে পান।

পরীক্ষার ইতিহাস অ্যাপ দ্বারা গোষ্ঠীবদ্ধ করা হয়। প্রতিটি অ্যাপের জন্য শুধুমাত্র সাম্প্রতিক পাঁচটি টেস্ট ম্যাট্রিক্স দেখানো হয়েছে; যদি আরও পাওয়া যায়, আপনি সেই অ্যাপের সম্পূর্ণ তালিকা দেখতে অ্যাপ পরীক্ষা তালিকার নীচে সমস্ত ম্যাট্রিসেস লিঙ্কে ক্লিক করতে পারেন।

পরীক্ষার ম্যাট্রিক্স ফলাফল ব্যাখ্যা করুন

টেস্ট ল্যাব UI এর মাধ্যমে একটি পরীক্ষা শুরু করার সময়, আপনাকে একটি পৃষ্ঠায় পুনঃনির্দেশিত করা হয় যেখানে আপনি আপনার পরীক্ষার ম্যাট্রিক্স দেখতে পারেন এবং পরীক্ষার ফলাফল দেখতে একটি নির্দিষ্ট পরীক্ষা সম্পাদনে ক্লিক করতে পারেন। অ্যান্ড্রয়েড স্টুডিও এবং gcloud কমান্ড পরীক্ষার ম্যাট্রিক্স ফলাফল পৃষ্ঠার জন্য একটি URL প্রদান করে।

একটি সাধারণ পরীক্ষার ম্যাট্রিক্সে, আপনি এক ডজন বা তার বেশি বিভিন্ন ডিভাইস জুড়ে একটি পরীক্ষা চালাতে পারেন। প্রতিটি পরীক্ষা সম্পাদনের একটি ভিন্ন ফলাফল হতে পারে। একটি টেস্ট ম্যাট্রিক্সে যেকোনো পরীক্ষা সম্পাদনের সম্ভাব্য ফলাফলগুলির মধ্যে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছে:

  • পাস করেছে পরিক্ষা উত্তীর্ণ : কোন ব্যর্থতা সম্মুখীন হয়েছে.
  • ব্যর্থ পরীক্ষা ব্যর্থ হয়েছে : অন্তত একটি ব্যর্থতা সম্মুখীন হয়েছে.
  • সিদ্ধান্তহীন পরিক্ষা উত্তীর্ণ : পরীক্ষার ফলাফলগুলি অনিশ্চিত ছিল, সম্ভবত একটি টেস্ট ল্যাব ত্রুটির কারণে৷
  • এড়িয়ে গেছে পরিক্ষা উত্তীর্ণ : ম্যাট্রিক্সে কিছু পরীক্ষা সম্পাদনের জন্য নির্বাচিত মাত্রা মানগুলি বেমানান ছিল৷ এটি ঘটে যখন আপনার নির্বাচিত ডিভাইসগুলি আপনার নির্বাচিত এক বা একাধিক Android API স্তরগুলির সাথে বেমানান হয়৷

আপনার ফায়ারবেস প্রোজেক্টে একটি প্রদত্ত অ্যাপের জন্য সমস্ত পরীক্ষার ম্যাট্রিক্সের সমষ্টিগত পরীক্ষার ফলাফল পর্যালোচনা করতে, নিম্নলিখিত উদাহরণে দেখানো অ্যাপের নামে ক্লিক করুন:

মাত্র চারটি পরীক্ষা সম্পাদন সহ পরীক্ষার ম্যাট্রিক্স ফলাফলের পৃষ্ঠার উদাহরণ টেস্ট ম্যাট্রিক্স ফলাফল

এটি আপনাকে আপনার অ্যাপের টেস্ট ম্যাট্রিক্স তালিকায় নিয়ে যাবে, যেখানে আপনি পরীক্ষার ম্যাট্রিক্সের ফলাফল দেখতে যেকোন টেস্ট ম্যাট্রিক্সের নামে ক্লিক করতে পারেন এবং যেখানে আপনি অ্যাপটির নাম ক্লিক করতে পারেন (নীচে লাল বাক্সে দেখানো হয়েছে) দেখতে আপনার ফায়ারবেস প্রকল্পের সাথে যুক্ত অন্যান্য অ্যাপের জন্য পরীক্ষা ম্যাট্রিক্স তালিকা।

পরীক্ষার ম্যাট্রিক্স তালিকা পৃষ্ঠার উদাহরণ টেস্ট ম্যাট্রিক্স তালিকা

একটি পরীক্ষার ম্যাট্রিক্স পাস, ব্যর্থ বা অনিশ্চিত হতে পারে। একটি পরীক্ষা ম্যাট্রিক্স ব্যর্থ বা অনিয়ন্ত্রিত হিসাবে দেখানো হয় যদি সেই ম্যাট্রিক্সে কোনো পরীক্ষা সম্পাদন ব্যর্থ হয় বা অনিশ্চিত হয়।

রোবো পরীক্ষার ফলাফল ব্যাখ্যা করুন

আপনি যদি Robo দিয়ে আপনার পরীক্ষা চালান, তাহলে আপনার ফলাফলে সাধারণ পরীক্ষার মেট্রিক ছাড়াও আপনার UI ক্রল করা Robo-এর ভিডিও এবং স্ক্রিনশট অন্তর্ভুক্ত থাকে। এই ভিডিও এবং স্ক্রিনশটগুলিতে রোবো ক্রল করার সময় যে ক্রিয়াকলাপগুলি নিয়েছিল তার ভিজ্যুয়াল ইঙ্গিতগুলি অন্তর্ভুক্ত করে, অ্যান্ড্রয়েডের 'শো টাচ' বৈশিষ্ট্যের মতো। আপনি Robo এর অগ্রগতি অনুসরণ করতে সাহায্য করার জন্য ইঙ্গিতগুলি ব্যবহার করতে পারেন, এবং এটি উন্মোচিত হতে পারে এমন কোনও বাগ পুনরুত্পাদন করতে পারেন৷

উদাহরণ রোবো পরীক্ষার ফলাফল ভিডিও

রোবো পরীক্ষার ফলাফল

একটি একক পরীক্ষা নির্বাহ থেকে ফলাফল ব্যাখ্যা

পরীক্ষার ম্যাট্রিক্স ফলাফল পৃষ্ঠা থেকে, সেই নির্দিষ্ট পরীক্ষার ফলাফল দেখতে পরীক্ষা সম্পাদনের একটিতে ক্লিক করুন।

পরীক্ষা নির্বাহের ফলাফলের পৃষ্ঠার উদাহরণ পরীক্ষা সম্পাদনের ফলাফল

এই পৃষ্ঠায়, আপনি প্রতিটি পরীক্ষা সম্পাদনের জন্য প্রয়োজনীয় সময় দেখতে পারেন। আপনি নির্দিষ্ট পরীক্ষার ক্ষেত্রে ফলাফলগুলিও দেখতে পারেন যা আপনার পরীক্ষার APK (ইনস্ট্রুমেন্টেশন পরীক্ষার জন্য) পদ্ধতির সাথে মিলে যায় এবং পরীক্ষার লগ, স্ক্রিনশট এবং ভিডিও সহ বিস্তারিত পরীক্ষার ফলাফল। Robo পরীক্ষার জন্য, বিস্তারিত পরীক্ষার ফলাফলগুলিতে একটি কার্যকলাপের মানচিত্রও অন্তর্ভুক্ত থাকে যা গ্রাফিকভাবে UI পাথগুলি দেখায় যা Robo পরীক্ষার দ্বারা পরিদর্শন করা হয়েছিল।

বিভাজিত যন্ত্র পরীক্ষার ফলাফল

যন্ত্রযুক্ত পরীক্ষার ফলাফল ব্যাখ্যা করতে আপনাকে সাহায্য করার জন্য, টেস্ট ল্যাব প্রতিটি পরীক্ষাকে তার নিজস্ব বিশদ প্রতিবেদন পৃষ্ঠায় আলাদা করে, স্ট্যাক ট্রেস, লগ এবং ভিডিও সহ সম্পূর্ণ। আপনি অ্যান্ড্রয়েড অর্কেস্ট্রেটর ব্যবহার করছেন বা না করছেন এই বৈশিষ্ট্যটি কাজ করে।

উদাহরণ testcase ফলাফল পৃষ্ঠা টেস্টকেস ফলাফল

অ্যাক্সেসযোগ্যতার ফলাফল ব্যাখ্যা করুন

রোবো পরীক্ষাগুলি আপনার অ্যাপে অ্যাক্সেসিবিলিটি সমস্যাগুলি সনাক্ত করতে Android অ্যাক্সেসিবিলিটি স্ক্যানার ব্যবহার করে (মনে রাখবেন যে আপনি আপনার ডিভাইসে স্থানীয়ভাবে একটি স্ক্যানও চালাতে পারেন)। আপনার রোবো পরীক্ষার অ্যাক্সেসিবিলিটি ফলাফলগুলি কীভাবে পর্যালোচনা এবং ব্যাখ্যা করতে হয় তার নির্দেশাবলীর জন্য, অ্যাক্সেসিবিলিটি স্ক্যানার দিয়ে শুরু করুন দেখুন।

আপনার অ্যাপের অ্যাক্সেসিবিলিটি কীভাবে উন্নত করা যায় সে সম্পর্কে সাধারণ তথ্যের জন্য, Android ডেভেলপার অ্যাক্সেসিবিলিটি ডকুমেন্টেশন দেখুন।

কর্মক্ষমতা বৈশিষ্ট্যের মান

শারীরিক ডিভাইসে চালানো পরীক্ষাগুলিও কার্যক্ষমতার মেট্রিক্স প্রদান করে:

মেট্রিক প্রয়োজনীয় ডিভাইস কনফিগারেশন
অ্যাপ শুরুর সময় API 19+
CPU 'র ব্যবহার API 21+
মেমরি ব্যবহার
নেটওয়ার্ক কার্যকলাপ
প্রতি সেকেন্ডে ফ্রেম API 21+ এবং একটি SurfaceView অন্তর্ভুক্ত
গ্রাফিক্স কর্মক্ষমতা API 23+

গ্রাফিক্স কর্মক্ষমতা বিবরণ

গ্রাফিক্স পারফরম্যান্স রিপোর্টে বিভিন্ন মূল গ্রাফিক্স মেট্রিক্সের পরিসংখ্যান রয়েছে:

  • মিসড Vsync: মিস করা Vsync ইভেন্টের সংখ্যা, রেন্ডার হতে 16 ms এর বেশি সময় লেগেছে এমন ফ্রেমের সংখ্যা দিয়ে ভাগ করা হয়।
  • উচ্চ ইনপুট লেটেন্সি: ইনপুট ইভেন্টের সংখ্যা যা 24 ms-এর বেশি সময় নেয়, রেন্ডার হতে 16 ms-এর বেশি সময় নেয় এমন ফ্রেমের সংখ্যা দিয়ে ভাগ করে৷
  • ধীর UI থ্রেড: যতবার UI থ্রেডটি সম্পূর্ণ হতে 8 ms-এর বেশি সময় নিয়েছে, রেন্ডার হতে 16 ms-এর বেশি সময় লেগেছে এমন ফ্রেমের সংখ্যা দ্বারা ভাগ করা হয়৷
  • স্লো ড্র কমান্ড: GPU-তে ড্র কমান্ড পাঠাতে 12 ms-এর বেশি সময় লেগেছে, রেন্ডার হতে 16 ms-এর বেশি সময় লেগেছে এমন ফ্রেমের সংখ্যা দিয়ে ভাগ করা হয়েছে।
  • ধীরগতির বিটম্যাপ আপলোড: বিটম্যাপটি GPU-তে আপলোড করতে 3.2 ms-এর বেশি সময় নিয়েছে এমন ফ্রেমের সংখ্যা দ্বারা ভাগ করে যা রেন্ডার হতে 16 ms-এর বেশি সময় নেয়৷
  • রেন্ডার টাইম: টেস্ট রানের প্রতিটি ফ্রেমের জন্য রেন্ডার সময়ের বন্টন। 32 মিলিসেকেন্ডের বেশি রেন্ডারের সময় আপনার UI এর একটি উপলব্ধিযোগ্য মন্থরতা ঘটায়। রেন্ডার সময় 700+ হিমায়িত ফ্রেম নির্দেশ করে। রেন্ডার ডেটা dumpsys graphicsstats থেকে সংগ্রহ করা হয়।

বিস্তারিত পরীক্ষার ফলাফল

আপনি একটি পরীক্ষা চালানোর পরে এবং একটি Google ক্লাউড স্টোরেজ বালতিতে সংরক্ষণ করার পরে 90 দিনের জন্য বিস্তারিত পরীক্ষার ফলাফল পাওয়া যায় (তবে Firebase কনসোলেও দৃশ্যমান)। আপনি ক্লাউড স্টোরেজ বালতিতে পরীক্ষার ফলাফলের বিস্তারিত ফলাফল দেখতে পারেন যখন আপনি পরীক্ষার ফলাফল পৃষ্ঠায় পরীক্ষার ফলাফলে ক্লিক করেন। যখন বিস্তারিত পরীক্ষার ফলাফল আর পাওয়া যায় না, তখনও আপনি দেখতে পারবেন কোন পরীক্ষায় পাস করা হয়েছে বা ব্যর্থ হয়েছে।

বিশদ পরীক্ষার ফলাফল 90 দিনের বেশি সময় ধরে রাখতে, আপনাকে এই পরীক্ষার ফলাফলগুলি --results-bucket gcloud কমান্ড-লাইন বিকল্প ব্যবহার করে আপনার মালিকানাধীন একটি ক্লাউড স্টোরেজ বাকেটে পাঠাতে হবে। তারপর আপনার ক্লাউড স্টোরেজ বালতিতে কতক্ষণ ফলাফল সংরক্ষণ করা হবে তা নির্ধারণ করতে আপনি বয়স সেটিং সেট করতে পারেন। কিভাবে বয়স সেটিং পরিবর্তন করতে হয় সে সম্পর্কে তথ্যের জন্য জীবনচক্রের শর্তাবলী দেখুন।