ניתוח תוצאות מעבדת בדיקת Firebase

ישנן דרכים רבות להשתמש Firebase Test Lab כדי להריץ בדיקות באפליקציית Android, כולל ממשק שורת פקודה , סטודיו אנדרואיד , את מבחן מעבדה UI במסוף Firebase, ואת API בדיקה . עם זאת אתה בוחר להתחיל את הבדיקות שלך, התוצאות נשמרות בפרויקט Firebase שאתה מציין. אתה יכול לחקור את התוצאות באמצעות API ToolResults בנוסף לכל הכלים הנ"ל. דף זה מתאר כיצד לסקור ולנתח את תוצאות הבדיקה הללו.

מושגי מפתח

כדי לראות את התוצאות מכל ריצות מבחן הקודם שלך, לבחור Test Lab בחלונית הניווט השמאלי של הפרויקט שלך במסוף Firebase. דף זה מציג את כל ריצות הבדיקה מהאפליקציות שבדקת עם הפרויקט שלך באמצעות מעבדת הבדיקה.

כדי לסקור את תוצאות הבדיקה, תחילה עליך להבין שלושה מושגים:

כאשר אתה מבצע בדיקה או סט של מקרי מבחן נגד התקנים ותצורות שבחרתם, Test Lab מפעילה את המבחן נגד האפליקציה שלך בכמות גדולה, ולאחר מכן מציג את התוצאות כמטריצת מבחן.

מכשירים × ביצוע בדיקות = מטריקס בדיקה

התקן
מכשיר פיזי או וירטואלי (אנדרואיד בלבד) בו אתה מריץ בדיקה, כגון טלפון, טאבלט או מכשיר לביש. התקנים במטריצת בדיקה מזוהים על פי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והמקום (המכונה גם הגדרות גיאוגרפיה ושפה).
מבחן, ביצוע מבחן
בדיקה (או קבוצה של מקרי בדיקה) שתופעל במכשיר. אתה יכול להריץ בדיקה אחת לכל מכשיר, או לחלופין לרסק את הבדיקה ולהריץ את מקרי הבדיקה שלה במכשירים שונים.
מטריצת מבחן
מכיל סטטוסים ותוצאות בדיקה לביצועי הבדיקה שלך. אם ביצוע בדיקה כלשהו במטריצה ​​נכשל, המטריצה ​​כולה נכשלת.

החלקים הבאים מסבירים כיצד לנווט בתוצאות הבדיקה.

פרש את תוצאות היסטוריית המבחנים

כשתעבור תוצאות הבדיקה שלך על ידי בחירת Lab Test, אתה רואה את התוצאות של הבדיקות שערכת עד כה.

היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגות עבור כל אפליקציה; אם יותר זמינים, אתה יכול ללחוץ על הקישור כל מטריצות בתחתית הרשימה מבחן היישום כדי לראות את הרשימה המלאה לאפליקציה הזאת.

פרש את תוצאות מטריצות הבדיקה

כאשר החל מבחן דרך מבחן מעבדת UI , תופנה לדף שבו אתה יכול לראות מטריקס הבדיקה שלך ולחץ על ביצוע מבחן ספציפי להציג תוצאות בדיקה. Android Studio ו- הפקודה gcloud לספק URL של דף תוצאות מטריקס המבחן גם כן.

במטריצת בדיקה טיפוסית, ייתכן שתבצע בדיקה על פני תריסר מכשירים שונים. לכל ביצוע בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות לביצוע כל בדיקה במטריצת בדיקה כוללות את הדברים הבאים:

  • עברהמבחן עבר : לא נתקלו בכשלים.
  • נִכשָׁלמבחן נכשל : לפחות נתקל בכשל אחד.
  • לא חד משמעיהמבחן עבר : תוצאות הבדיקה לא היו חד משמעיות, אולי בגלל שגיאת מעבדת הבדיקה.
  • דילגהמבחן עבר : ערכי המימדים שנבחרו עבור כמה ביצועי בדיקה במטריצה ​​לא היו תואמים. זה קורה כאשר מכשירים שבחרת אינם תואמים לאחת או יותר מרמות ה- API של Android שבחרת.

כדי לסקור את תוצאות הבדיקה המצטברות עבור כל מטריצות הבדיקה עבור אפליקציה מסוימת בפרויקט Firebase שלך, לחץ על שם האפליקציה, כפי שמוצג בדוגמה הבאה:

דף תוצאות לדוגמא של מטריצת מבחן עם ארבע ביצועי בדיקה בלבד מבחן תוצאות מטריקס

פעולה זו תעביר אותך לרשימת מטריצות הבדיקה של האפליקציה שלך, שם תוכל ללחוץ על שם כל מטריצת בדיקה כדי לראות את תוצאות מטריצת הבדיקה, ושם תוכל ללחוץ על שם האפליקציה (מוצג בתיבה האדומה למטה) כדי להציג את רשימת מטריצות בדיקה לאפליקציות אחרות המשויכות לפרויקט Firebase שלך.

דף רשימת מטריצות מבחן לדוגמא רשימת מטריקס מבחן

מטריצת מבחן יכולה לעבור, להיכשל או להיות בלתי חד משמעית. מטריצת בדיקה מוצגת ככושלת או לא חד משמעית אם ביצוע כלשהו של בדיקות באותה מטריצה ​​נכשל או אינו חד משמעי.

לפרש את תוצאות בדיקת הרובו

אם ביצעת את הבדיקות שלך עם Robo, התוצאות שלך כוללות סרטונים וצילומי מסך של Robo שסורק את ממשק המשתמש שלך, בנוסף למדדי הבדיקה הרגילים. סרטוני הווידאו וצילומי המסך הללו כוללים אינדיקציות חזותיות לפעולות שרובו ביצע במהלך הסריקה, בדומה לתכונה 'הצג נגיעות' באנדרואיד. אתה יכול להשתמש באינדיקציות כדי לעזור לך לעקוב אחר ההתקדמות של רובו, ולשחזר את הבאגים שהוא עשוי לחשוף.

דוגמה לסרטון תוצאות בדיקת רובו

תוצאות בדיקת רובו

לפרש תוצאות מביצוע בדיקה יחיד

מדף התוצאות של מטריצת הבדיקה, לחץ על אחת מביצועי הבדיקה כדי לראות את התוצאה של אותה ביצוע בדיקה ספציפית.

דף תוצאות ביצוע בדיקות לדוגמא תוצאות ביצוע בדיקות

בעמוד זה תוכלו לראות את הזמן הדרוש לכל ביצוע בדיקה. תוכל גם לראות את התוצאות עבור מקרי בדיקה ספציפיים המתאימים לשיטות ב- APK הבדיקה שלך (למבחני מכשור) ותוצאות בדיקה מפורטות, כולל יומני בדיקה, צילומי מסך וסרטונים. עבור מבחן רוב , תוצאות בדיקה מפורטות גם לכלול מפת פעילות גרפית מציגה את נתיבי UI שהיו בקרו מבחן רוב.

תוצאות בדיקת מכשור מחולקות

כדי לעזור לכם לפרש את תוצאות הבדיקה המכשירים, Test Lab מפריד כל בדיקה לדף דוחות מפורט משלה, עם עקבות מחסניות, יומנים וסרטונים. תכונה זו פועלת בין אם אתה משתמש בתזמורת Android או לא.

דף תוצאות לדוגמא של מבחן מבחן תוצאות מבחן

לפרש תוצאות נגישות

מבחני רובו משתמשים בסורק הנגישות של Android כדי לאתר בעיות נגישות באפליקציה שלך (שים לב שאתה יכול גם להפעיל סריקה באופן מקומי במכשיר שלך). לקבלת הוראות כיצד לבחון ולפרש את תוצאות הנגישות של מבחן רובו שלך, ביקור הצעדים ראשון עם נגישות סורק .

לקבלת מידע כללי על איך לשפר את הנגישות של האפליקציה שלך, בקר בנושא הנגישות של Android Developer .

מדדי ביצועים

בדיקות המופעלות במכשירים פיזיים מחזירות גם מדדי ביצועים:

מֶטרִי תצורת ההתקן הנדרשת
זמן הפעלת האפליקציה API 19+
שימוש במעבד ממשק API 21+
שימוש בזיכרון
פעילות רשת
פריימים לשניה API 21+ וכולל SurfaceView
ביצועי גרפיקה ממשק API 23+

פרטי ביצועי גרפיקה

דוח הביצועים הגרפיים מכיל נתונים סטטיסטיים על כמה מדדי גרפיקה מרכזיים:

  • שלא נענה Vsync: מספר אירועי Vsync החמיצו, מחולקים במספר המסגרות כי לקחו זמן רב יותר 16 מילישניות כדי להבהיר.
  • חביון קלט גבוה: מספר אירועי קלט כי לקחו זמן רב יותר 24 מילישניות, מחולקים במספר המסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • UI חוט איטי: מספר הפעמים החוט UI לקח יותר מ 8 MS כדי להשלים, מחולק במספר מסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • פקודות המשיכה האיטית: מספר הפעמים כי שליחת פקודות תיקו ל GPU לקח יותר מ 12 מילישניות, מחולק במספר מסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • שנוסף מפה סיבית איטית: מספר הפעמים כי המפה הסיבית לקחה זמן רב יותר 3.2 ms להעלות ל GPU מחולק במספר המסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • Render זמן: חלוקת לגמול פעמים עבור כל מסגרת של הפעלה נסיונית. עיבוד פעמים הגדול מ 32 אלפיות השנייה גורם להאטה ניכרת בממשק המשתמש שלך. זמני עיבוד של 700+ מציינים מסגרות קפואות. Render הנתונים שנאספו dumpsys graphicsstats .

תוצאות בדיקה מפורטות

תוצאות בדיקה מפורטות זמינות למשך 90 יום לאחר ביצוע בדיקה ומאוחסנות בדלי אחסון של Google Cloud (אך ניכרות גם במסוף Firebase). אתה יכול להציג תוצאות בדיקה מפורטות בתוך דלי אחסון הענן כאשר אתה לוחץ על צג מקור קבצים בדף תוצאות ביצוע בדיקה. כאשר תוצאות בדיקה מפורטות אינן זמינות עוד, עדיין תוכל לראות אילו מבחנים עברו או נכשלו.

כדי לשמר את תוצאות בדיקה מפורטות יותר מ 90 ימים, אתה צריך לשלוח את תוצאות הבדיקות הללו לתוך דלי אחסון ענן שבבעלותך באמצעות אפשרות שורת פקוד --results-דלי gcloud . לאחר מכן, תוכל להגדיר את הגדרת הגיל כדי לקבוע כמה זמן תוצאות נשמרות דלי האחסון בענן שלך. ראה תנאי Lifecycle לקבלת מידע על איך לשנות את הגדרת הגיל.