تحليل نتائج مختبر اختبار Firebase

هناك عدة طرق لاستخدام Firebase اختبار مختبر لإجراء اختبارات على تطبيق Android، بما في ذلك واجهة سطر الأوامر ، الروبوت ستوديو و مختبر فحص UI في وحدة تحكم Firebase، و API اختبار . كيفما اخترت بدء الاختبارات ، يتم تخزين النتائج في مشروع Firebase الذي تحدده. يمكنك استكشاف النتائج باستخدام ToolResults API بالإضافة إلى أي من الأدوات أعلاه. تصف هذه الصفحة كيفية مراجعة نتائج الاختبار هذه وتحليلها.

المفاهيم الرئيسية

لنرى ما هي النتائج من جميع اختباراته السابقة، حدد اختبار مختبر في لوحة التنقل اليسرى من المشروع الخاص بك في وحدة Firebase. تعرض هذه الصفحة جميع عمليات التشغيل الاختبارية من التطبيقات التي اختبرتها مع مشروعك باستخدام Test Lab.

لمراجعة نتائج الاختبار ، تحتاج أولاً إلى فهم ثلاثة مفاهيم:

عند تشغيل اختبار أو مجموعة من حالات الاختبار ضد الأجهزة والتشكيلات التي اخترتها، ويدير مختبر فحص اختبار ضد التطبيق الخاص بك في دفعة، ثم يعرض النتائج في شكل مصفوفة الاختبار.

الأجهزة × عمليات تنفيذ الاختبار = مصفوفة الاختبار

جهاز
جهاز مادي أو افتراضي (Android فقط) تُجري اختبارًا عليه ، مثل الهاتف أو الجهاز اللوحي أو الجهاز القابل للارتداء. يتم تحديد الأجهزة الموجودة في مصفوفة الاختبار حسب طراز الجهاز وإصدار نظام التشغيل واتجاه الشاشة والإعدادات المحلية (المعروفة أيضًا باسم إعدادات الجغرافيا واللغة).
اختبار ، اختبار التنفيذ
اختبار (أو مجموعة من حالات الاختبار) ليتم تشغيلها على الجهاز. يمكنك إجراء اختبار واحد لكل جهاز ، أو اختيار تجزئة الاختبار وتشغيل حالات الاختبار الخاصة به على أجهزة مختلفة.
مصفوفة الاختبار
يحتوي على الحالات ونتائج الاختبار لعمليات تنفيذ الاختبار الخاصة بك. إذا فشل تنفيذ أي اختبار في المصفوفة ، تفشل المصفوفة بأكملها.

توضح الأقسام التالية كيفية التنقل في نتائج الاختبار.

تفسير نتائج تاريخ الاختبار

عند الانتقال إلى نتائج الاختبار الخاص بك عن طريق اختيار مختبر فحص، ترى نتائج اختبارات قمت بتشغيل حتى الآن.

يتم تجميع سجل الاختبار حسب التطبيق. يتم عرض أحدث خمس مصفوفات اختبار فقط لكل تطبيق ؛ إذا المتوفرة أكثر، يمكنك النقر على الرابط جميع المصفوفات في أسفل قائمة اختبار التطبيق لرؤية قائمة كاملة لهذا التطبيق.

تفسير نتائج مصفوفة الاختبار

عند بدء الاختبار من خلال مختبر فحص UI ، تتم إعادة توجيهك إلى صفحة حيث يمكنك أن ترى مصفوفة الاختبار الخاصة بك وانقر على تنفيذ اختبار محدد لعرض نتائج الاختبار. الروبوت ستوديو و الأمر gcloud توفير URL لصفحة نتائج اختبار مصفوفة كذلك.

في مصفوفة اختبار نموذجية ، قد تجري اختبارًا عبر عشرات الأجهزة المختلفة أو نحو ذلك. يمكن أن يكون لكل تنفيذ اختبار نتيجة مختلفة. تتضمن النتائج المحتملة لأي تنفيذ اختبار في مصفوفة اختبار ما يلي:

  • تم الاجتياز بنجاحاجتاز الاختبار : لم تتم مصادفة أي إخفاقات.
  • باءت بالفشلفشل الاختبار : تمت مصادفة فشل واحد على الأقل.
  • غير حاسماجتاز الاختبار : نتائج الاختبار غير حاسمة ، ربما بسبب خطأ في مختبر الاختبار.
  • تم تخطياجتاز الاختبار : قيم الأبعاد المحددة لبعض عمليات التنفيذ الاختبارية في المصفوفة كانت غير متوافقة. يحدث هذا عندما تكون الأجهزة التي حددتها غير متوافقة مع واحد أو أكثر من مستويات Android API التي حددتها.

لمراجعة نتائج الاختبار المجمعة لجميع مصفوفات الاختبار لتطبيق معين في مشروع Firebase الخاص بك ، انقر فوق اسم التطبيق ، كما هو موضح في المثال التالي:

مثال على صفحة نتائج مصفوفة الاختبار مع أربع عمليات تنفيذ اختبار فقط نتائج اختبار المصفوفة

ينقلك هذا إلى قائمة مصفوفة الاختبار لتطبيقك ، حيث يمكنك النقر فوق اسم أي مصفوفة اختبار لرؤية نتائج مصفوفة الاختبار ، وحيث يمكنك النقر فوق اسم التطبيق (الموضح في المربع الأحمر أدناه) لعرض قائمة مصفوفة اختبار للتطبيقات الأخرى المرتبطة بمشروع Firebase الخاص بك.

مثال على صفحة قائمة مصفوفة الاختبار قائمة مصفوفة الاختبار

يمكن أن تنجح مصفوفة الاختبار أو تفشل أو تكون غير حاسمة. تظهر مصفوفة الاختبار على أنها فاشلة أو غير حاسمة إذا فشلت عمليات تنفيذ الاختبار في تلك المصفوفة أو كانت غير حاسمة.

تفسير نتائج اختبار Robo

إذا أجريت اختباراتك باستخدام Robo ، فستتضمن نتائجك مقاطع فيديو ولقطات شاشة لزحف Robo إلى واجهة المستخدم الخاصة بك ، بالإضافة إلى مقاييس الاختبار المعتادة. تتضمن مقاطع الفيديو ولقطات الشاشة هذه مؤشرات مرئية للإجراءات التي اتخذها Robo أثناء الزحف ، على غرار ميزة "إظهار اللمسات" في Android. يمكنك استخدام المؤشرات لمساعدتك على متابعة تقدم Robo وإعادة إنتاج أي أخطاء قد تكتشفها.

فيديو عن نتائج اختبار Robo

نتائج اختبار Robo

تفسير النتائج من تنفيذ اختبار واحد

من صفحة نتائج مصفوفة الاختبار ، انقر فوق أحد عمليات تنفيذ الاختبار لمعرفة نتيجة تنفيذ الاختبار المحدد.

مثال على صفحة نتائج تنفيذ الاختبار نتائج تنفيذ الاختبار

في هذه الصفحة ، يمكنك معرفة الوقت المطلوب لكل تنفيذ اختبار. يمكنك أيضًا الاطلاع على نتائج حالات الاختبار المحددة التي تتوافق مع الطرق الموجودة في اختبار APK الخاص بك (لاختبارات الأجهزة) ونتائج الاختبار التفصيلية ، بما في ذلك سجلات الاختبار ولقطات الشاشة ومقاطع الفيديو. ل اختبار روبو ، وتشمل نتائج الاختبار بالتفصيل أيضا خريطة النشاط الذي يظهر بوضوح مسارات UI التي تم زيارتها من قبل الاختبار روبو.

نتائج اختبار الأجهزة المقسمة

لمساعدتك في تفسير نتائج الاختبار المجهزة ، يقوم Test Lab بفصل كل اختبار إلى صفحة تقرير مفصلة خاصة به ، كاملة مع تتبعات المكدس والسجلات ومقاطع الفيديو. تعمل هذه الميزة سواء كنت تستخدم Android Orchestrator أم لا.

مثال على صفحة نتائج testcase نتائج Testcase

تفسير نتائج الوصول

تستخدم اختبارات Robo Android Accessibility Scanner لاكتشاف مشكلات إمكانية الوصول في تطبيقك (لاحظ أنه يمكنك أيضًا إجراء فحص محليًا على جهازك). للحصول على إرشادات حول كيفية مراجعة وتفسير النتائج الوصول إلى اختبار روبو الخاص، زيارة لتبدأ مع إمكانية الوصول الماسح الضوئي .

للحصول على معلومات عامة حول كيفية تحسين إمكانية الوصول إلى التطبيق الخاص بك، قم بزيارة ثائق المطور الوصول الروبوت .

مقاييس الأداء

تُرجع الاختبارات التي يتم إجراؤها على الأجهزة المادية أيضًا مقاييس الأداء:

قياس التكوين المطلوب للجهاز
وقت بدء تشغيل التطبيق API 19+
استخدام المعالج API 21+
استخدام الذاكرة
نشاط الشبكة
لقطة في الثانية API 21+ ويتضمن SurfaceView
أداء الرسومات API 23+

تفاصيل أداء الرسومات

يحتوي تقرير أداء الرسومات على إحصائيات حول العديد من مقاييس الرسومات الرئيسية:

  • غاب VSYNC: عدد من الأحداث VSYNC لم يرد عليها، مقسوما على عدد من الأطر التي استغرق وقتا أطول من 16 مللي ثانية لتقديم.
  • ارتفاع المدخلات الكمون: عدد من الأحداث الإدخال الذي استغرق وقتا أطول من 24 مللي ثانية، مقسوما على عدد من الأطر التي استغرق وقتا أطول من 16 مللي ثانية لتقديم.
  • بطء موضوع UI: عدد المرات أخذ موضوع UI أكثر من 8 مللي ثانية لإكمال، مقسوما على عدد من الأطر التي استغرق وقتا أطول من 16 مللي ثانية لتقديم.
  • أوامر السحب بطيئة: عدد المرات التي ترسل الأوامر التعادل لGPU استغرق أكثر من 12 مللي ثانية، مقسوما على عدد من الأطر التي استغرق وقتا أطول من 16 مللي ثانية لتقديم.
  • تحميل نقطية بطيئة: عدد المرات التي نقطية استغرقت وقتا أطول من 3.2 مللي ثانية إلى تحميلها على GPU مقسوما على عدد من الأطر التي استغرق وقتا أطول من 16 مللي ثانية لتقديم.
  • تجعل الوقت: توزيع تجعل مرات لكل إطار على المدى الاختبار. تتسبب أوقات العرض التي تزيد عن 32 مللي ثانية في حدوث تباطؤ ملحوظ في واجهة المستخدم. تشير أوقات العرض التي تزيد عن 700+ إلى الإطارات المجمدة. تقديم البيانات التي تم جمعها من dumpsys graphicsstats .

نتائج الاختبار التفصيلية

تتوفر نتائج الاختبار التفصيلية لمدة 90 يومًا بعد إجراء الاختبار ويتم تخزينها في حاوية Google Cloud Storage (ولكنها تظهر أيضًا في وحدة تحكم Firebase). يمكنك عرض نتائج الاختبار مفصلة في دلو سحابة التخزين عند النقر فوق عرض الملفات المصدر على صفحة نتائج تنفيذ الاختبار. عندما لا تتوفر نتائج الاختبار التفصيلية ، لا يزال بإمكانك معرفة الاختبارات التي نجحت أو فشلت.

للاحتفاظ نتائج الاختبارات التفصيلية لفترة أطول من 90 يوما، إذا أردت أن ترسل هذه نتائج الاختبار إلى دلو سحابة التخزين التي تمتلكها باستخدام الخيار gcloud سطر الأوامر --results دلو . يمكنك بعد ذلك تعيين إعداد العمر لتحديد كيفية نتائج طويلة يتم تخزينها في حياتك دلو سحابة التخزين. انظر شروط دورة حياة للحصول على معلومات حول كيفية تغيير الإعداد العمر.