هناك عدة طرق لاستخدام Firebase Test Lab لإجراء اختبارات على تطبيق Android ، بما في ذلك واجهة سطر الأوامر و Android Studio وواجهة مستخدم Test Lab في وحدة تحكم Firebase وواجهة برمجة تطبيقات الاختبار . مهما اخترت بدء الاختبارات ، يتم تخزين النتائج في مشروع Firebase الذي تحدده. يمكنك استكشاف النتائج باستخدام ToolResults API بالإضافة إلى أي من الأدوات المذكورة أعلاه. تصف هذه الصفحة كيفية مراجعة نتائج الاختبار هذه وتحليلها.
المفاهيم الرئيسية
للاطلاع على النتائج من جميع عمليات التشغيل الاختبارية السابقة ، حدد Test Lab في لوحة التنقل اليمنى لمشروعك في وحدة تحكم Firebase. تعرض هذه الصفحة جميع عمليات التشغيل الاختبارية من التطبيقات التي اختبرتها مع مشروعك باستخدام Test Lab.
لمراجعة نتائج الاختبار ، تحتاج أولاً إلى فهم ثلاثة مفاهيم:
عند إجراء اختبار أو مجموعة من حالات الاختبار على الأجهزة والتكوينات التي حددتها ، يقوم Test Lab بتشغيل الاختبار مقابل تطبيقك دفعة واحدة ، ثم يعرض النتائج كمصفوفة اختبار .
الأجهزة × عمليات التنفيذ = مصفوفة الاختبار
- جهاز
- جهاز مادي أو افتراضي (Android فقط) تُجري اختبارًا عليه ، مثل الهاتف أو الجهاز اللوحي أو الجهاز القابل للارتداء. يتم تحديد الأجهزة الموجودة في مصفوفة الاختبار حسب طراز الجهاز وإصدار نظام التشغيل واتجاه الشاشة والإعدادات المحلية (المعروفة أيضًا باسم إعدادات الجغرافيا واللغة).
- اختبار ، اختبار التنفيذ
- اختبار (أو مجموعة من حالات الاختبار) ليتم تشغيلها على الجهاز. يمكنك إجراء اختبار واحد لكل جهاز ، أو اختيار تجزئة الاختبار وتشغيل حالات الاختبار الخاصة به على أجهزة مختلفة.
- مصفوفة الاختبار
- يحتوي على الحالات ونتائج الاختبار لعمليات تنفيذ الاختبار الخاصة بك. إذا فشل تنفيذ أي اختبار في المصفوفة ، تفشل المصفوفة بأكملها.
توضح الأقسام التالية كيفية التنقل في نتائج الاختبار.
تفسير نتائج تاريخ الاختبار
عندما تنتقل إلى نتائج الاختبار الخاصة بك عن طريق تحديد Test Lab ، سترى نتائج الاختبارات التي أجريتها حتى الآن.
يتم تجميع سجل الاختبار حسب التطبيق. يتم عرض أحدث خمس مصفوفات اختبار فقط لكل تطبيق ؛ في حالة توفر المزيد ، يمكنك النقر فوق ارتباط جميع المصفوفات في الجزء السفلي من قائمة اختبار التطبيق لرؤية القائمة الكاملة لهذا التطبيق.
تفسير نتائج مصفوفة الاختبار
عند بدء اختبار من خلال واجهة مستخدم مختبر الاختبار ، تتم إعادة توجيهك إلى صفحة حيث يمكنك رؤية مصفوفة الاختبار الخاصة بك والنقر فوق تنفيذ اختبار محدد لعرض نتائج الاختبار. يوفر Android Studio والأمر gcloud عنوان URL لصفحة نتائج مصفوفة الاختبار أيضًا.
في مصفوفة اختبار نموذجية ، قد تجري اختبارًا عبر عشرات الأجهزة المختلفة أو نحو ذلك. يمكن أن يكون لكل تنفيذ اختبار نتيجة مختلفة. تتضمن النتائج المحتملة لأي تنفيذ اختبار في مصفوفة اختبار ما يلي:
- اجتاز
: لم تتم مصادفة أي إخفاقات.
- فشل
: تمت مصادفة فشل واحد على الأقل.
- غير حاسم
: نتائج الاختبار غير حاسمة ، ربما بسبب خطأ في مختبر الاختبار.
- تم تخطي
: قيم الأبعاد المحددة لبعض عمليات التنفيذ الاختبارية في المصفوفة كانت غير متوافقة. يحدث هذا عندما تكون الأجهزة التي حددتها غير متوافقة مع واحد أو أكثر من مستويات Android API التي حددتها.
لمراجعة نتائج الاختبار المجمعة لجميع مصفوفات الاختبار لتطبيق معين في مشروع Firebase الخاص بك ، انقر فوق اسم التطبيق ، كما هو موضح في المثال التالي:
مثال على صفحة نتائج مصفوفة الاختبار مع أربع عمليات تنفيذ اختبار فقط
ينقلك هذا إلى قائمة مصفوفة الاختبار لتطبيقك ، حيث يمكنك النقر فوق اسم أي مصفوفة اختبار لرؤية نتائج مصفوفة الاختبار ، وحيث يمكنك النقر فوق اسم التطبيق (الموضح في المربع الأحمر أدناه) لعرض قائمة مصفوفة اختبار للتطبيقات الأخرى المرتبطة بمشروع Firebase الخاص بك.
مثال على صفحة قائمة مصفوفة الاختبار
يمكن أن تنجح مصفوفة الاختبار أو تفشل أو تكون غير حاسمة. تظهر مصفوفة الاختبار على أنها فاشلة أو غير حاسمة إذا فشلت عمليات تنفيذ الاختبار في تلك المصفوفة أو كانت غير حاسمة.
تفسير نتائج اختبار Robo
إذا أجريت اختباراتك باستخدام Robo ، فستتضمن نتائجك مقاطع فيديو ولقطات شاشة لزحف Robo إلى واجهة المستخدم الخاصة بك ، بالإضافة إلى مقاييس الاختبار المعتادة. تتضمن مقاطع الفيديو ولقطات الشاشة هذه مؤشرات مرئية للإجراءات التي اتخذها Robo أثناء الزحف ، على غرار ميزة "إظهار اللمسات" في Android. يمكنك استخدام المؤشرات لمساعدتك على متابعة تقدم Robo وإعادة إنتاج أي أخطاء قد تكتشفها.
فيديو عن نتائج اختبار Robo
تفسير النتائج من تنفيذ اختبار واحد
من صفحة نتائج مصفوفة الاختبار ، انقر فوق أحد عمليات تنفيذ الاختبار لمعرفة نتيجة تنفيذ الاختبار المحدد.
مثال على صفحة نتائج تنفيذ الاختبار
في هذه الصفحة ، يمكنك معرفة الوقت المطلوب لكل تنفيذ اختبار. يمكنك أيضًا الاطلاع على نتائج حالات الاختبار المحددة التي تتوافق مع الطرق الموجودة في اختبار APK الخاص بك (لاختبارات الأجهزة) ونتائج الاختبار التفصيلية ، بما في ذلك سجلات الاختبار ولقطات الشاشة ومقاطع الفيديو. بالنسبة لاختبار Robo ، تتضمن نتائج الاختبار التفصيلية أيضًا خريطة نشاط تعرض بيانياً مسارات واجهة المستخدم التي تمت زيارتها بواسطة اختبار Robo.
نتائج اختبار الأجهزة المقسمة
لمساعدتك في تفسير نتائج الاختبار المجهزة ، يفصل Test Lab كل اختبار في صفحة تقرير مفصلة خاصة به ، كاملة مع تتبعات المكدس والسجلات ومقاطع الفيديو. تعمل هذه الميزة سواء كنت تستخدم Android Orchestrator أم لا.
مثال على صفحة نتائج testcase
تفسير نتائج الوصول
تستخدم اختبارات Robo Android Accessibility Scanner لاكتشاف مشكلات إمكانية الوصول في تطبيقك (لاحظ أنه يمكنك أيضًا إجراء فحص محليًا على جهازك). للحصول على إرشادات حول كيفية مراجعة وتفسير نتائج إمكانية الوصول الخاصة باختبار Robo الخاص بك ، تفضل بزيارة بدء استخدام Accessibility Scanner .
للحصول على معلومات عامة حول كيفية تحسين إمكانية الوصول إلى تطبيقك ، تفضل بزيارة وثائق Android Developer Accessibility .
مقاييس الأداء
تُرجع الاختبارات التي يتم إجراؤها على الأجهزة المادية أيضًا مقاييس الأداء:
قياس | التكوين المطلوب للجهاز |
---|---|
وقت بدء تشغيل التطبيق | API 19+ |
استخدام المعالج | API 21+ |
استخدام الذاكرة | |
نشاط الشبكة | |
لقطة في الثانية | API 21+ ويتضمن SurfaceView |
أداء الرسومات | API 23+ |
تفاصيل أداء الرسومات
يحتوي تقرير أداء الرسومات على إحصائيات حول العديد من مقاييس الرسومات الرئيسية:
- Vsync المفقودة: عدد أحداث Vsync الفائتة مقسومًا على عدد الإطارات التي استغرق عرضها أكثر من 16 مللي ثانية.
- وقت استجابة الإدخال العالي: عدد أحداث الإدخال التي استغرقت أكثر من 24 مللي ثانية ، مقسومًا على عدد الإطارات التي استغرقت وقتًا أطول من 16 مللي ثانية للعرض.
- مؤشر ترابط واجهة المستخدم البطيء: عدد المرات التي استغرق فيها اكتمال سلسلة واجهة المستخدم أكثر من 8 مللي ثانية ، مقسومًا على عدد الإطارات التي استغرق عرضها أكثر من 16 مللي ثانية.
- أوامر الرسم البطيء: عدد المرات التي استغرق فيها إرسال أوامر الرسم إلى وحدة معالجة الرسومات أكثر من 12 مللي ثانية ، مقسومًا على عدد الإطارات التي استغرق عرضها أكثر من 16 مللي ثانية.
- تحميلات الصور النقطية البطيئة: عدد المرات التي استغرقت فيها الصورة النقطية وقتًا أطول من 3.2 مللي ثانية للتحميل إلى وحدة معالجة الرسومات مقسومًا على عدد الإطارات التي استغرق عرضها أكثر من 16 مللي ثانية.
- وقت العرض: توزيع أوقات العرض لكل إطار في التشغيل التجريبي. تتسبب أوقات العرض التي تزيد عن 32 مللي ثانية في حدوث تباطؤ ملحوظ في واجهة المستخدم. تشير أوقات العرض التي تزيد عن 700+ إلى الإطارات المجمدة. يتم تجميع بيانات التجسيد من
dumpsys graphicsstats
.
نتائج الاختبار التفصيلية
تتوفر نتائج الاختبار التفصيلية لمدة 90 يومًا بعد إجراء الاختبار ويتم تخزينها في حاوية Google Cloud Storage (ولكنها تظهر أيضًا في وحدة تحكم Firebase). يمكنك عرض نتائج الاختبار التفصيلية في حاوية التخزين السحابي عند النقر فوق نتائج الاختبار في صفحة نتائج تنفيذ الاختبار. عندما لا تتوفر نتائج الاختبار التفصيلية ، لا يزال بإمكانك معرفة الاختبارات التي نجحت أو فشلت.
للاحتفاظ بنتائج الاختبار التفصيلية لمدة تزيد عن 90 يومًا ، تحتاج إلى إرسال نتائج الاختبار هذه إلى حاوية التخزين السحابي التي تمتلكها باستخدام خيار سطر الأوامر --results-bucket gcloud . يمكنك بعد ذلك تعيين إعداد العمر لتحديد مدة تخزين النتائج في حاوية التخزين السحابي. راجع شروط دورة الحياة للحصول على معلومات حول كيفية تغيير إعداد العمر .