نتایج آزمایشگاه Firebase Test را تجزیه و تحلیل کنید

راه های متعدد برای استفاده فایربیس تست آزمایشگاه برای اجرای آزمون در برنامه آندروید خود را، از جمله وجود دارد رابط خط فرمان ، اندروید استودیو ، این تست آزمایشگاه UI در فایربیس کنسول، و API تست . با این وجود تصمیم می گیرید که آزمایشات خود را شروع کنید ، نتایج در پروژه Firebase که مشخص کرده اید ذخیره می شوند. شما می توانید با استفاده از نتایج کشف ToolResults API در علاوه بر این به هر یک از ابزار فوق. در این صفحه نحوه بررسی و تجزیه و تحلیل این نتایج آزمون شرح داده شده است.

مفاهیم کلیدی

برای دیدن نتایج این از تمام اجرا می شود آزمون قبلی خود را، تست آزمایشگاه را در پانل سمت چپ ناوبری از پروژه خود را در کنسول فایربیس. این صفحه تمام برنامه های آزمایشی را که با استفاده از آزمایشگاه آزمایش با پروژه خود آزمایش کرده اید ، نشان می دهد.

برای بررسی نتایج آزمون ، ابتدا باید سه مفهوم را درک کنید:

هنگامی که شما یک آزمون و یا مجموعه ای از موارد آزمون در برابر دستگاه ها و تنظیمات را انتخاب کردید را اجرا کنید، تست آزمایشگاه اجرا می شود آزمون در مقابل برنامه خود را در یک دسته ای، و سپس نمایش نتایج به صورت یک ماتریس آزمون.

دستگاه ها ec اعدام های آزمون = ماتریس تست

دستگاه
دستگاه فیزیکی یا مجازی (فقط Android) که روی آن آزمایشی مانند تلفن ، رایانه لوحی یا دستگاه پوشیدنی اجرا می کنید. دستگاه های موجود در ماتریس آزمایشی با مدل دستگاه ، نسخه سیستم عامل ، جهت صفحه و محلی (که به عنوان تنظیمات زبان و جغرافیا نیز شناخته می شود) شناسایی می شوند.
تست ، اعدام آزمون
آزمایشی (یا مجموعه ای از موارد آزمایشی) که باید روی دستگاه اجرا شود. می توانید یک تست را برای هر دستگاه اجرا کنید ، یا به صورت اختیاری تست را خرد کنید و موارد آزمایشی آن را روی دستگاه های مختلف اجرا کنید.
ماتریس آزمون
شامل وضعیت ها و نتایج آزمون برای اجرای آزمایشی شما است. اگر هرگونه اجرای آزمایشی در یک ماتریس ناموفق باشد ، کل ماتریس از کار می افتد.

بخشهای زیر نحوه پیمایش در نتایج آزمون را توضیح می دهد.

نتایج تاریخچه آزمون را تفسیر کنید

هنگامی که شما به نتایج آزمون خود را حرکت با انتخاب تست آزمایشگاه، شما در نتایج حاصل از آزمون به شما تا کنون اجرا کرده اند را مشاهده کنید.

سابقه تست بر اساس برنامه گروه بندی می شود. فقط پنج ماتریس آزمون اخیر برای هر برنامه نشان داده شده است. اگر بیشتر در دسترس هستند، شما می توانید از لینک همه ماتریس در پایین لیست آزمون برنامه کلیک کنید برای دیدن لیست کامل برای آن برنامه.

نتایج ماتریس آزمون را تفسیر کنید

هنگامی که شروع به آزمون از طریق تست آزمایشگاه UI ، شما را به یک صفحه که در آن شما می توانید ماتریس آزمون خود را ببینید کلیک کنید و یک اجرای آزمون خاص برای مشاهده نتایج آزمون هدایت می شوید. اندروید استودیو و دستور gcloud را به یک URL برای صفحه نتایج ماتریس آزمون است.

در یک ماتریس آزمایشی معمولی ، ممکن است شما یک تست را در حدود ده دستگاه مختلف اجرا کنید. هر اجرای آزمایشی می تواند نتیجه متفاوتی داشته باشد. نتایج احتمالی هر آزمون در ماتریس آزمون شامل موارد زیر است:

  • گذشتتست قبول شد : هیچ خطایی رخ نداد.
  • ناموفقآزمون ناموفق بود : حداقل یک شکست روبرو شد.
  • بی نتیجهتست قبول شد : نتایج آزمون بی نتیجه بود ، احتمالاً به دلیل خطای آزمایشگاه آزمایش بود.
  • رد شدتست قبول شد : مقادیر ابعاد انتخاب شده برای برخی از اجرای آزمون در ماتریس ناسازگار است. این حالت زمانی اتفاق می افتد که دستگاه هایی که انتخاب کرده اید با یک یا چند سطح Android API که انتخاب کرده اید ناسازگار باشند.

برای بررسی نتایج آزمون جمع شده برای همه ماتریس های آزمون برای یک برنامه خاص در پروژه Firebase خود ، روی نام برنامه کلیک کنید ، همانطور که در مثال زیر نشان داده شده است:

به عنوان مثال صفحه نتایج ماتریس آزمون فقط با چهار اعدام آزمایشی نتایج ماتریس آزمون

با این کار می توانید به لیست ماتریس آزمون برنامه خود بروید ، جایی که می توانید روی نام هر ماتریس آزمایشی کلیک کنید تا نتایج ماتریس آزمون را ببینید و در آنجا می توانید برای مشاهده برنامه بر روی نام برنامه کلیک کنید لیست ماتریس آزمون برای برنامه های دیگر مرتبط با پروژه Firebase شما.

به عنوان مثال صفحه لیست ماتریس آزمون لیست تست ماتریس

یک ماتریس آزمون می تواند تصویب کند ، شکست بخورد یا غیرقطعی باشد. اگر هرگونه اجرای آزمایشی در آن ماتریس از کار بیفتد یا بی نتیجه باشد ، ماتریس آزمایشی به عنوان ناموفق یا بی نتیجه نشان داده می شود.

نتایج آزمون روبو را تفسیر کنید

اگر تست های خود را با Robo انجام داده اید ، نتایج شما علاوه بر معیارهای آزمون معمول ، شامل فیلم ها و عکس های صفحه ای از Robo است که با خزیدن UI شما روبرو می شود. این فیلم ها و عکس های صفحه نمایش شامل نشانه های تصویری از اقداماتی است که Robo هنگام خزیدن انجام داده است ، شبیه به ویژگی "Show touchs" در Android. برای کمک به پیشرفت Robo و تولید مجدد اشکالات موجود در این زمینه می توانید از نشانه ها استفاده کنید.

نمونه فیلم نتایج آزمون Robo

نتایج آزمون روبو

تفسیر نتایج حاصل از یک آزمایش واحد

از صفحه نتایج ماتریس آزمون ، بر روی یکی از اعدام های آزمون کلیک کنید تا نتیجه اجرای خاص آن را ببینید.

به عنوان مثال صفحه نتایج اجرای آزمون نتایج اجرای آزمون

در این صفحه می توانید زمان مورد نیاز برای هر آزمون را مشاهده کنید. همچنین می توانید نتایج مربوط به موارد آزمایشی خاص را که با روش های APK آزمون شما (برای آزمایشات ابزار دقیق) مطابقت دارند و نتایج آزمایش دقیق ، از جمله گزارش های آزمون ، عکس های صفحه و فیلم ها را مشاهده کنید. برای آزمون فونز ، نتایج آزمون دقیق همچنین شامل یک نقشه که به صورت گرافیکی نشان می دهد فعالیت های مسیر UI است که با استفاده از آزمون فونز بازدید شد.

نتایج آزمون ابزار دقیق پارتیشن بندی شده

آزمایشگاه برای کمک به شما در تفسیر نتایج آزمون ابزار ، هر آزمون را به صفحه گزارش دقیق خود اختصاص می دهد ، با ردیابی پشته ها ، گزارش ها و فیلم ها. این ویژگی چه شما از Android Orchestrator استفاده کنید یا نه ، کار می کند.

به عنوان مثال صفحه نتایج آزمایشگاه نتایج ویترین

تفسیر نتایج دستیابی

تست های Robo از Android Accessibility Scanner برای شناسایی مشکلات دسترسی در برنامه شما استفاده می کند (توجه داشته باشید که می توانید اسکن را به صورت محلی روی دستگاه خود نیز انجام دهید). برای راهنمایی بیشتر به بررسی و تفسیر نتایج آزمون دسترسی فونز خود، بازدید به کار با دسترسی اسکنر آغاز شده .

برای اطلاعات بیشتر در مورد چگونگی بهبود دسترسی به برنامه خود، از اسناد دسترسپذیری برنامه نویس Android .

معیارهای عملکرد

آزمونهایی که روی دستگاههای فیزیکی اجرا می شوند ، معیارهای عملکرد را نیز برمی گردانند:

متریک پیکربندی دستگاه مورد نیاز
زمان راه اندازی برنامه API 19+
میزان استفاده از پردازنده API 21+
استفاده از حافظه
فعالیت شبکه
فریم بر ثانیه API 21+ و شامل یک SurfaceView
عملکرد گرافیکی API 23+

جزئیات عملکرد گرافیک

گزارش عملکرد گرافیک شامل آماری از چندین معیار اصلی گرافیک است:

  • از دست رفته موقع این ویژگی: تعداد حوادث موقع این ویژگی از دست رفته، تقسیم بر تعداد فریم هایی که بیش از 16 میلی ثانیه زمان برای رندر.
  • تاخیر ورودی بالا: تعداد رویدادهای ورودی که بیش از 24 میلی ثانیه صورت گرفت، تقسیم بر تعداد فریم که در زمان طولانی تر 16 میلی ثانیه برای ارائه.
  • موضوع UI آهسته: تعداد دفعاتی که به UI thread بیش از 8 میلی ثانیه برای تکمیل، تقسیم بر تعداد فریم هایی که بیش از 16 میلی ثانیه زمان برای رندر گرفت.
  • دستورات قرعه کشی آهسته: تعداد دفعاتی که ارسال دستورات قرعه کشی به GPU و جو در زمان بیش از 12 میلی ثانیه، تقسیم بر تعداد فریم که در زمان طولانی تر 16 میلی ثانیه برای ارائه.
  • ارسال آهسته بیت مپ: تعداد دفعاتی که بیت مپ بیش از 3.2 میلی ثانیه زمان برای آپلود به GPU تقسیم شده توسط تعدادی از فریم های که در زمان طولانی تر 16 میلی ثانیه برای ارائه.
  • زمان بارگزاری صفحه: توزیع زمان رندر برای هر فریم از اجرای این آزمون را. زمان رندر بیشتر از 32 میلی ثانیه باعث کاهش محسوس UI شما می شود. زمان رندر 700+ نشان دهنده فریم های منجمد است. بارگزاری داده ها از جمع dumpsys graphicsstats .

نتایج آزمون دقیق

نتایج دقیق تست 90 روز پس از اجرای آزمایشی در دسترس است و در سطل ذخیره سازی Google Cloud ذخیره می شود (اما در کنسول Firebase نیز قابل مشاهده است). شما می توانید نتایج آزمون دقیق در سطل ابر ذخیره سازی مشاهده و زمانی که شما با کلیک بر نمایش فایل های منبع در صفحه نتایج اجرای آزمون. وقتی دیگر نتایج آزمایش دقیق در دسترس نباشد ، هنوز می توانید ببینید که کدام تست ها قبول شده اند یا شکست خورده اند.

برای حفظ نتایج آزمون دقیق برای بیش از 90 روز، شما نیاز به ارسال این نتایج تست را به یک سطل ابر ذخیره سازی است که شما خود را با استفاده از --results سطل گزینه gcloud خط فرمان . بعد از آن شما می توانید مجموعه ای تنظیم سن برای تعیین چه مدت نتایج در سطل ابر ذخیره سازی خود را ذخیره می شود. مشاهده شرایط چرخه برای اطلاعات در مورد نحوه تغییر تنظیم سن است.