נתח את תוצאות מעבדת הבדיקה של Firebase

ישנן דרכים מרובות להשתמש ב-Firebase Test Lab כדי להריץ בדיקות באפליקציית Android שלך, כולל ממשק שורת הפקודה , Android Studio , ממשק המשתמש של Test Lab במסוף Firebase ו- Testing API . בכל מקרה שתבחר להתחיל את הבדיקות שלך, התוצאות מאוחסנות בפרויקט Firebase שאתה מציין. אתה יכול לחקור את התוצאות באמצעות ToolResults API בנוסף לכל אחד מהכלים שלמעלה. דף זה מתאר כיצד לסקור ולנתח את תוצאות הבדיקה הללו.

מושגי מפתח

כדי לראות את התוצאות מכל ריצות הבדיקה הקודמות שלך, בחר Test Lab בחלונית הניווט השמאלית של הפרויקט שלך במסוף Firebase. דף זה מציג את כל ריצות הבדיקה מהאפליקציות שבדקת עם הפרויקט שלך באמצעות Test Lab.

כדי לסקור את תוצאות הבדיקה, תחילה עליך להבין שלושה מושגים:

כאשר אתה מפעיל בדיקה או קבוצה של מקרי בדיקה נגד מכשירים ותצורות שבחרת, Test Lab מפעיל את הבדיקה נגד האפליקציה שלך באצווה, ולאחר מכן מציג את התוצאות כמטריצת בדיקה .

התקנים × ביצועי בדיקה = מטריצת בדיקה

התקן
מכשיר פיזי או וירטואלי (אנדרואיד בלבד) שאתה מפעיל עליו בדיקה, כגון טלפון, טאבלט או מכשיר לביש. התקנים במטריצת בדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והמקום (הידוע גם כהגדרות גיאוגרפיה ושפה).
בדיקה, ביצוע בדיקה
בדיקה (או קבוצה של מקרי בדיקה) להפעלה במכשיר. אתה יכול להריץ בדיקה אחת לכל מכשיר, או לחלופין לפזר את הבדיקה ולהפעיל את מקרי הבדיקה שלה במכשירים שונים.
מטריצת בדיקה
מכיל את הסטטוסים ותוצאות הבדיקה עבור ביצוע הבדיקה שלך. אם ביצוע בדיקה כלשהו במטריצה ​​נכשל, המטריצה ​​כולה נכשלת.

הסעיפים הבאים מסבירים כיצד לנווט בתוצאות הבדיקה.

לפרש את תוצאות היסטוריית הבדיקות

כאשר אתה מנווט לתוצאות הבדיקה שלך על ידי בחירה ב- Test Lab , אתה רואה את התוצאות של בדיקות שהרצת עד כה.

היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגות עבור כל אפליקציה; אם עוד זמינים, תוכל ללחוץ על הקישור כל המטריצות בתחתית רשימת בדיקות האפליקציה כדי לראות את הרשימה המלאה של אותה אפליקציה.

פרש את תוצאות מטריצת הבדיקה

כשאתה מתחיל בדיקה דרך ממשק המשתמש של מעבדת הבדיקה , אתה מופנה לדף שבו אתה יכול לראות את מטריצת הבדיקה שלך וללחוץ על ביצוע בדיקה ספציפי כדי לראות את תוצאות הבדיקה. Android Studio והפקודה gcloud מספקים גם כתובת URL עבור דף תוצאות מטריצת הבדיקה.

במטריצת בדיקה טיפוסית, אתה עשוי להריץ בדיקה על פני תריסר מכשירים שונים. לכל ביצוע בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות עבור כל ביצוע בדיקה במטריצת בדיקה כוללות את הדברים הבאים:

  • עברמבחן עבר : לא נתקלו בכשלים.
  • נִכשָׁלמבחן נכשל : לפחות כשל אחד נתקל.
  • לא חד משמעימבחן עבר : תוצאות הבדיקה לא היו חד משמעיות, אולי בגלל שגיאת מעבדת בדיקה.
  • דילגמבחן עבר : ערכי הממדים שנבחרו עבור חלק מביצועי הבדיקה במטריצה ​​לא היו תואמים. זה מתרחש כאשר מכשירים שבחרת אינם תואמים לאחת או יותר מרמות ה-API של Android שבחרת.

כדי לסקור את תוצאות הבדיקה המצטברות עבור כל מטריצות הבדיקה של אפליקציה נתונה בפרויקט Firebase שלך, לחץ על שם האפליקציה, כפי שמוצג בדוגמה הבאה:

דוגמה לדף תוצאות מטריצת בדיקה עם ארבע ביצועי בדיקה בלבד תוצאות מטריצת בדיקה

זה לוקח אותך לרשימת מטריצת הבדיקה של האפליקציה שלך, שם תוכל ללחוץ על השם של כל מטריצת בדיקה כדי לראות את תוצאות מטריצת הבדיקה, ושם תוכל ללחוץ על שם האפליקציה (מוצג בתיבה האדומה למטה) כדי להציג את בדוק את רשימת המטריצות עבור אפליקציות אחרות המשויכות לפרויקט Firebase שלך.

דוגמה לדף רשימת מטריצת בדיקה רשימת מטריצות בדיקה

מטריצת מבחן יכולה לעבור, להיכשל או להיות לא חד משמעית. מטריצת בדיקה מוצגת ככשלה או לא חד משמעית אם ביצועי בדיקה כלשהם במטריצה ​​הזו נכשלים או אינם חד משמעיים.

לפרש את תוצאות בדיקת רובו

אם הפעלת את הבדיקות שלך עם Robo, התוצאות שלך כוללות סרטונים וצילומי מסך של רובו סורק את ממשק המשתמש שלך, בנוסף למדדי הבדיקה הרגילים. סרטוני וידיאו וצילומי מסך אלה כוללים אינדיקציות חזותיות של הפעולות שרובו ביצע במהלך הסריקה, בדומה לתכונה 'הצג נגיעות' באנדרואיד. אתה יכול להשתמש באינדיקציות כדי לעזור לך לעקוב אחר ההתקדמות של רובו, ולשחזר את כל הבאגים שהוא עשוי לחשוף.

סרטון דוגמה לתוצאות בדיקת רובו

תוצאות בדיקת רובו

לפרש תוצאות מביצוע בדיקה בודדת

מדף תוצאות מטריצת הבדיקה, לחץ על אחת מביצועי הבדיקה כדי לראות את התוצאה של ביצוע הבדיקה הספציפי הזה.

דוגמה לדף תוצאות ביצוע בדיקה תוצאות ביצוע בדיקה

בעמוד זה תוכלו לראות את הזמן הנדרש לכל ביצוע בדיקה. אתה יכול גם לראות את התוצאות עבור מקרי בדיקה ספציפיים התואמים לשיטות ב-APK הבדיקה שלך (עבור בדיקות מכשור) ותוצאות בדיקה מפורטות, כולל יומני בדיקה, צילומי מסך וסרטונים. עבור מבחן רובו , תוצאות בדיקה מפורטות כוללות גם מפת פעילות המציגה באופן גרפי את נתיבי ממשק המשתמש שבהם ביקר מבחן רובו.

תוצאות בדיקת מכשור מחולקות

כדי לעזור לך לפרש את תוצאות הבדיקה המכשור, Test Lab מפרידה כל בדיקה לדף דוחות מפורט משלה, הכולל עקבות ערימה, יומנים וסרטונים. תכונה זו פועלת בין אם אתה משתמש ב-Android Orchestrator ובין אם לא.

דף תוצאות מבחן לדוגמה תוצאות מבחן

לפרש תוצאות נגישות

מבחני Robo משתמשים ב-Android Accessibility Scanner כדי לזהות בעיות נגישות באפליקציה שלך (שים לב שאתה יכול גם להפעיל סריקה מקומית במכשיר שלך). להוראות כיצד לסקור ולפרש את תוצאות הנגישות של מבחן הרובו שלך, בקר בכתובת התחל עם סורק הנגישות .

למידע כללי על איך לשפר את הנגישות של האפליקציה שלך, בקר בתיעוד הנגישות למפתחי Android .

מדדי ביצועים

בדיקות המופעלות במכשירים פיזיים מחזירות גם מדדי ביצועים:

מֶטרִי תצורת מכשיר נדרשת
זמן הפעלת האפליקציה API 19+
שימוש במעבד API 21+
שימוש בזיכרון
פעילות ברשת
פריימים לשניה API 21+ וכולל SurfaceView
ביצועים גרפיים API 23+

פרטי ביצועי גרפיקה

דוח ביצועי הגרפיקה מכיל נתונים סטטיסטיים על מספר מדדי גרפיקה מרכזיים:

  • Missed Vsync: מספר אירועי Vsync שהוחמצו, חלקי מספר הפריימים שלקח יותר מ-16 אלפיות השנייה לעיבוד.
  • זמן אחזור קלט גבוה: מספר אירועי הקלט שלקח יותר מ-24 אלפיות השנייה, חלקי מספר הפריימים שלקח יותר מ-16 אלפיות השנייה לעיבוד.
  • שרשור ממשק משתמש איטי: מספר הפעמים ששרשור ממשק המשתמש לקח יותר מ-8 אלפיות השנייה, חלקי מספר הפריימים שלקח יותר מ-16 אלפיות השנייה לעיבוד.
  • פקודות ציור איטיות: מספר הפעמים ששליחת פקודות ציור ל-GPU ארכה יותר מ-12 אלפיות השנייה, חלקי מספר הפריימים שלקח יותר מ-16 אלפיות השנייה לעיבוד.
  • העלאות איטיות של מפת סיביות: מספר הפעמים שלקח למפת הסיביות יותר מ-3.2 אלפיות השנייה להעלות ל-GPU חלקי מספר הפריימים שלקח יותר מ-16 אלפיות השנייה לעיבוד.
  • זמן רינדור: התפלגות זמני הרינדור עבור כל פריים של ריצת הבדיקה. זמני רינדור גדולים מ-32 מילישניות גורמים להאטה מורגשת של ממשק המשתמש שלך. זמני רינדור של 700+ מצביעים על פריימים קפואים. נתוני העיבוד נאספים מ- dumpsys graphicsstats .

תוצאות בדיקה מפורטות

תוצאות בדיקה מפורטות זמינות למשך 90 יום לאחר הפעלת בדיקה ומאוחסנות בדלי של Google Cloud Storage (אך הן גלויות גם במסוף Firebase). תוכל להציג תוצאות בדיקה מפורטות בדלי של Cloud Storage כאשר תלחץ על תוצאות בדיקה בדף תוצאות ביצוע הבדיקה. כאשר תוצאות מבחן מפורטות אינן זמינות עוד, עדיין תוכל לראות אילו מבחנים עברו או נכשלו.

כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, עליך לשלוח את תוצאות הבדיקה הללו לדלי של Cloud Storage שבבעלותך באמצעות אפשרות שורת הפקודה --results-bucket gcloud . לאחר מכן תוכל להגדיר את הגדרת הגיל כדי לקבוע כמה זמן התוצאות מאוחסנות בדלי של Cloud Storage שלך. ראה תנאי מחזור חיים למידע על איך לשנות את הגדרת הגיל .