تحليل نتائج معمل اختبار Firebase

هناك طرق متعددة لاستخدام Firebase Test Lab لإجراء الاختبارات على تطبيق Android، بما في ذلك واجهة سطر الأوامر و Android Studio وواجهة مستخدم Test Lab في وحدة تحكم Firebase وواجهة برمجة تطبيقات الاختبار . مهما اخترت بدء اختباراتك، يتم تخزين النتائج في مشروع Firebase الذي تحدده. يمكنك استكشاف النتائج باستخدام ToolResults API بالإضافة إلى أي من الأدوات المذكورة أعلاه. توضح هذه الصفحة كيفية مراجعة نتائج الاختبار هذه وتحليلها.

المفاهيم الرئيسية

لرؤية نتائج جميع عمليات التشغيل الاختبارية السابقة، حدد Test Lab في لوحة التنقل اليمنى لمشروعك في وحدة تحكم Firebase. تعرض هذه الصفحة كافة الاختبارات التي تم تشغيلها من التطبيقات التي قمت باختبارها مع مشروعك باستخدام Test Lab.

لمراجعة نتائج الاختبار، عليك أولاً فهم ثلاثة مفاهيم:

عندما تقوم بتشغيل اختبار أو مجموعة من حالات الاختبار على الأجهزة والتكوينات التي حددتها، يقوم Test Lab بإجراء الاختبار على تطبيقك دفعة واحدة، ثم يعرض النتائج كمصفوفة اختبار .

الأجهزة × عمليات تنفيذ الاختبار = مصفوفة الاختبار

جهاز
جهاز فعلي أو افتراضي (Android فقط) تجري عليه اختبارًا، مثل الهاتف أو الجهاز اللوحي أو الجهاز القابل للارتداء. يتم تحديد الأجهزة الموجودة في مصفوفة الاختبار حسب طراز الجهاز وإصدار نظام التشغيل واتجاه الشاشة والإعدادات المحلية (المعروفة أيضًا بإعدادات الجغرافيا واللغة).
الاختبار، تنفيذ الاختبار
اختبار (أو مجموعة من حالات الاختبار) ليتم تشغيلها على الجهاز. يمكنك إجراء اختبار واحد لكل جهاز، أو اختياريًا تقسيم الاختبار وتشغيل حالات الاختبار الخاصة به على أجهزة مختلفة.
مصفوفة الاختبار
يحتوي على الحالات ونتائج الاختبار لعمليات تنفيذ الاختبار. إذا فشل أي اختبار في تنفيذ المصفوفة، فستفشل المصفوفة بأكملها.

تشرح الأقسام التالية كيفية التنقل بين نتائج الاختبار.

تفسير نتائج تاريخ الاختبار

عندما تنتقل إلى نتائج الاختبار الخاصة بك عن طريق تحديد Test Lab ، فإنك ترى نتائج الاختبارات التي أجريتها حتى الآن.

يتم تجميع سجل الاختبار حسب التطبيق. يتم عرض أحدث خمس مصفوفات اختبار فقط لكل تطبيق؛ إذا توفر المزيد، يمكنك النقر فوق رابط جميع المصفوفات الموجود أسفل قائمة اختبار التطبيق لرؤية القائمة الكاملة لهذا التطبيق.

تفسير نتائج مصفوفة الاختبار

عند بدء اختبار من خلال واجهة مستخدم Test Lab ، تتم إعادة توجيهك إلى صفحة حيث يمكنك رؤية مصفوفة الاختبار الخاصة بك والنقر فوق تنفيذ اختبار محدد لعرض نتائج الاختبار. يوفر Android Studio والأمر gcloud عنوان URL لصفحة نتائج مصفوفة الاختبار أيضًا.

في مصفوفة اختبار نموذجية، يمكنك إجراء اختبار عبر عشرات الأجهزة المختلفة أو نحو ذلك. يمكن أن يكون لكل تنفيذ اختبار نتيجة مختلفة. تتضمن النتائج المحتملة لأي تنفيذ اختبار في مصفوفة الاختبار ما يلي:

  • اجتازتم اجتياز الاختبار : لم تتم مصادفة أي فشل.
  • فشلفشل الاختبار : تمت مصادفة فشل واحد على الأقل.
  • غير حاسمة تم اجتياز الاختبار : كانت نتائج الاختبار غير حاسمة، ربما بسبب خطأ في الاختبار المعملي.
  • تم تخطيهتم اجتياز الاختبار : قيم الأبعاد المحددة لبعض عمليات تنفيذ الاختبار في المصفوفة غير متوافقة. يحدث هذا عندما تكون الأجهزة التي حددتها غير متوافقة مع واحد أو أكثر من مستويات Android API التي حددتها.

لمراجعة نتائج الاختبار المجمعة لجميع مصفوفات الاختبار لتطبيق معين في مشروع Firebase، انقر على اسم التطبيق، كما هو موضح في المثال التالي:

نموذج لصفحة نتائج مصفوفة الاختبار مع أربع عمليات تنفيذ اختبار فقط نتائج مصفوفة الاختبار

ينقلك هذا إلى قائمة مصفوفة الاختبار لتطبيقك، حيث يمكنك النقر فوق اسم أي مصفوفة اختبار لرؤية نتائج مصفوفة الاختبار، وحيث يمكنك النقر فوق اسم التطبيق (الموضح في المربع الأحمر أدناه) لعرض قائمة مصفوفة الاختبار للتطبيقات الأخرى المرتبطة بمشروع Firebase الخاص بك.

مثال لصفحة قائمة مصفوفة الاختبار قائمة مصفوفة الاختبار

يمكن أن تنجح مصفوفة الاختبار أو تفشل أو تكون غير حاسمة. تظهر مصفوفة الاختبار على أنها فاشلة أو غير حاسمة إذا فشلت أي عمليات تنفيذ اختبار في تلك المصفوفة أو كانت غير حاسمة.

تفسير نتائج اختبار Robo

إذا أجريت اختباراتك باستخدام Robo، فستتضمن نتائجك مقاطع فيديو ولقطات شاشة لزحف Robo إلى واجهة المستخدم الخاصة بك، بالإضافة إلى مقاييس الاختبار المعتادة. تتضمن مقاطع الفيديو ولقطات الشاشة هذه مؤشرات مرئية للإجراءات التي اتخذها Robo أثناء الزحف، على غرار ميزة "إظهار اللمسات" في Android. يمكنك استخدام المؤشرات لمساعدتك في متابعة تقدم Robo وإعادة إنتاج أي أخطاء قد يكتشفها.

مثال على فيديو نتائج اختبار Robo

نتائج اختبار روبو

تفسير النتائج من تنفيذ اختبار واحد

من صفحة نتائج مصفوفة الاختبار، انقر فوق أحد عمليات تنفيذ الاختبار لرؤية نتيجة تنفيذ الاختبار المحدد.

مثال لصفحة نتائج تنفيذ الاختبار نتائج تنفيذ الاختبار

في هذه الصفحة، يمكنك رؤية الوقت اللازم لكل تنفيذ اختبار. يمكنك أيضًا الاطلاع على نتائج حالات اختبار محددة تتوافق مع الأساليب الموجودة في ملف APK الاختباري (لاختبارات الأجهزة) ونتائج الاختبار التفصيلية، بما في ذلك سجلات الاختبار ولقطات الشاشة ومقاطع الفيديو. بالنسبة لاختبار Robo ، تتضمن نتائج الاختبار التفصيلية أيضًا خريطة نشاط تعرض بيانيًا مسارات واجهة المستخدم التي تمت زيارتها بواسطة اختبار Robo.

نتائج اختبار الأجهزة المقسمة

لمساعدتك في تفسير نتائج الاختبار المُجهزة، يقوم Test Lab بفصل كل اختبار في صفحة تقرير تفصيلية خاصة به، مكتملة بتتبعات المكدس والسجلات ومقاطع الفيديو. تعمل هذه الميزة سواء كنت تستخدم Android Orchestrator أم لا.

مثال لصفحة نتائج الاختبار نتائج الاختبار

تفسير نتائج إمكانية الوصول

تستخدم اختبارات Robo برنامج Android Accessibility Scanner لاكتشاف مشكلات إمكانية الوصول في تطبيقك (لاحظ أنه يمكنك أيضًا إجراء فحص محليًا على جهازك). للحصول على إرشادات حول كيفية مراجعة نتائج إمكانية الوصول الخاصة باختبار Robo وتفسيرها، تفضل بزيارة بدء استخدام Accessibility Scanner .

للحصول على معلومات عامة حول كيفية تحسين إمكانية الوصول إلى تطبيقك، قم بزيارة وثائق إمكانية الوصول لمطوري Android .

مقاييس الأداء

تُرجع الاختبارات التي يتم إجراؤها على الأجهزة الفعلية أيضًا مقاييس الأداء:

قياس تكوين الجهاز المطلوب
وقت بدء تشغيل التطبيق واجهة برمجة التطبيقات 19+
استخدام المعالج واجهة برمجة التطبيقات 21+
استخدام الذاكرة
نشاط الشبكة
لقطة في الثانية API 21+ ويتضمن SurfaceView
أداء الرسومات واجهة برمجة التطبيقات 23+

تفاصيل أداء الرسومات

يحتوي تقرير أداء الرسومات على إحصائيات حول العديد من مقاييس الرسومات الرئيسية:

  • Missed Vsync: عدد أحداث Vsync الفائتة، مقسومًا على عدد الإطارات التي استغرق عرضها وقتًا أطول من 16 مللي ثانية.
  • زمن استجابة الإدخال العالي: عدد أحداث الإدخال التي استغرقت وقتًا أطول من 24 مللي ثانية، مقسومًا على عدد الإطارات التي استغرق عرضها وقتًا أطول من 16 مللي ثانية.
  • مؤشر ترابط واجهة المستخدم البطيء: عدد المرات التي استغرق فيها مؤشر ترابط واجهة المستخدم أكثر من 8 مللي ثانية لإكماله، مقسومًا على عدد الإطارات التي استغرق عرضها وقتًا أطول من 16 مللي ثانية.
  • أوامر الرسم البطيء: عدد المرات التي استغرق فيها إرسال أوامر الرسم إلى وحدة معالجة الرسومات أكثر من 12 مللي ثانية، مقسومًا على عدد الإطارات التي استغرق عرضها وقتًا أطول من 16 مللي ثانية.
  • تحميلات الصور النقطية البطيئة: عدد المرات التي استغرق فيها تحميل الصورة النقطية وقتًا أطول من 3.2 مللي ثانية إلى وحدة معالجة الرسومات مقسومًا على عدد الإطارات التي استغرق عرضها وقتًا أطول من 16 مللي ثانية.
  • وقت العرض: توزيع أوقات العرض لكل إطار من التشغيل الاختباري. تؤدي أوقات العرض التي تزيد عن 32 مللي ثانية إلى تباطؤ ملحوظ في واجهة المستخدم الخاصة بك. تشير أوقات العرض التي تبلغ 700+ إلى الإطارات المجمدة. يتم جمع بيانات العرض من dumpsys graphicsstats .

نتائج الاختبار التفصيلية

تتوفر نتائج الاختبار التفصيلية لمدة 90 يومًا بعد تشغيل الاختبار ويتم تخزينها في مجموعة Google Cloud Storage (ولكنها تكون مرئية أيضًا في وحدة تحكم Firebase). يمكنك عرض نتائج الاختبار التفصيلية في مجموعة Cloud Storage عند النقر فوق نتائج الاختبار في صفحة نتائج تنفيذ الاختبار. عندما لا تتوفر نتائج الاختبار التفصيلية، لا يزال بإمكانك معرفة الاختبارات التي نجحت أو فشلت.

للاحتفاظ بنتائج الاختبار التفصيلية لمدة تزيد عن 90 يومًا، يتعين عليك إرسال نتائج الاختبار هذه إلى مجموعة التخزين السحابي التي تمتلكها باستخدام خيار سطر الأوامر --results-bucket gcloud . يمكنك بعد ذلك ضبط إعداد "العمر" لتحديد مدة تخزين النتائج في مجموعة التخزين السحابي الخاصة بك. راجع شروط دورة الحياة للحصول على معلومات حول كيفية تغيير إعداد العمر .