Join us for Firebase Summit on November 10, 2021. Tune in to learn how Firebase can help you accelerate app development, release with confidence, and scale with ease. Register

ניתוח תוצאות מעבדת בדיקת Firebase

ישנן דרכים רבות להשתמש Firebase Test Lab כדי להריץ בדיקות באפליקציית Android, כולל ממשק שורת פקודה , סטודיו אנדרואיד , את מבחן מעבדה UI במסוף Firebase, ואת API בדיקה . למרות שתבחר להתחיל את הבדיקות, התוצאות מאוחסנות בפרויקט Firebase שאתה מציין. אתה יכול לחקור את התוצאות באמצעות API ToolResults בנוסף לכל הכלים הנ"ל. דף זה מתאר כיצד לסקור ולנתח את תוצאות הבדיקה הללו.

מושגי מפתח

כדי לראות את התוצאות מכל ריצות המבחן הקודמות שלך, לבחור Test Lab בחלונית הניווט השמאלית של הפרויקט שלך במסוף Firebase. דף זה מציג את כל ריצות הבדיקה מהיישומים שבדקת עם הפרויקט שלך באמצעות Test Lab.

כדי לבדוק את תוצאות הבדיקה, תחילה עליך להבין שלושה מושגים:

כאשר אתה מבצע בדיקה או סט של מקרי מבחן נגד התקנים ותצורות שבחרתם, Test Lab מפעילה את המבחן נגד האפליקציה שלך בכמות גדולה, ולאחר מכן מציג את התוצאות כמטריצת מבחן.

התקנים × ביצוע בדיקות = מטריצת בדיקה

התקן
מכשיר פיזי או וירטואלי (אנדרואיד בלבד) שבו אתה מריץ בדיקה, כגון טלפון, טאבלט או מכשיר לביש. התקנים במטריצת בדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והאזור (מכונה גם הגדרות גיאוגרפיה ושפה).
בדיקה, ביצוע בדיקה
בדיקה (או קבוצה של מקרי בדיקה) להפעלה במכשיר. אתה יכול להריץ בדיקה אחת לכל מכשיר, או אופציונלי לרסק את הבדיקה ולהריץ את מקרי הבדיקה שלה במכשירים שונים.
מטריצת הבדיקה
מכיל את הסטטוסים ותוצאות הבדיקה לביצוע הבדיקות שלך. אם ביצוע בדיקה כלשהי במטריצה ​​נכשל, המטריצה ​​כולה נכשלת.

הסעיפים הבאים מסבירים כיצד לנווט בתוצאות הבדיקה.

לפרש את תוצאות היסטוריית הבדיקות

כשתעבור תוצאות הבדיקה שלך על ידי בחירת Lab Test, אתה רואה את התוצאות של הבדיקות שערכת עד כה.

היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגות עבור כל אפליקציה; אם יותר זמינים, אתה יכול ללחוץ על הקישור כל מטריצות בתחתית הרשימה מבחן היישום כדי לראות את הרשימה המלאה לאפליקציה הזאת.

פרש את תוצאות מטריצת הבדיקה

כאשר החל מבחן דרך מבחן מעבדת UI , תופנה לדף שבו אתה יכול לראות מטריקס הבדיקה שלך ולחץ על ביצוע מבחן ספציפי להציג תוצאות בדיקה. Android Studio ו- הפקודה gcloud לספק URL של דף תוצאות מטריקס המבחן גם כן.

במטריצת בדיקה טיפוסית, תוכל להריץ בדיקה על פני עשרות מכשירים שונים. לכל ביצוע בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות לכל ביצוע בדיקה במטריצת בדיקה כוללות את הדברים הבאים:

  • עברהבדיקה עברה : לא נתקלו בכשלים.
  • נִכשָׁלמבחן נכשל : נתקל כשל אחד לפחות.
  • לא חד משמעיהבדיקה עברה : תוצאות הבדיקה לא היו חד משמעיות, אולי בגלל שגיאה במעבדת הבדיקה.
  • דילגהבדיקה עברה : ערכי הממד שנבחרו עבור כמה ביצועי בדיקה במטריצה ​​לא היו תואמים. זה קורה כאשר מכשירים שבחרת אינם תואמים אחת או יותר מרמות ה- API של Android שבחרת.

כדי לסקור את תוצאות הבדיקה המצטברות של כל מטריצות הבדיקה של אפליקציה נתונה בפרויקט Firebase שלך, לחץ על שם האפליקציה, כפי שמוצג בדוגמה הבאה:

דוגמא לדף תוצאות מטריצת הבדיקה עם ארבע הוצאות ביצוע בלבד תוצאות מטריצת הבדיקה

פעולה זו מעבירה אותך לרשימת מטריצות הבדיקה של האפליקציה שלך, שבה תוכל ללחוץ על שם כל מטריצת בדיקה כדי לראות את תוצאות מטריצת הבדיקה, ושם תוכל ללחוץ על שם האפליקציה (המוצגת בתיבה האדומה למטה) כדי להציג את רשימת מטריצות הבדיקה לאפליקציות אחרות המשויכות לפרויקט Firebase שלך.

דוגמא לדף רשימת מטריצות הבדיקה רשימת מטריצות מבחן

מטריצת מבחן יכולה לעבור, להיכשל או להיות חד משמעית. מטריצת הבדיקה מוצגת ככושלת או בלתי חד משמעית אם ביצוע כלשהו של בדיקות במטריצה ​​כזו או שאינו חד משמעי.

לפרש את תוצאות בדיקת רובו

אם ביצעת את הבדיקות שלך עם רובו, התוצאות שלך כוללות קטעי וידאו וצילומי מסך של רובו שסורקים את ממשק המשתמש שלך, בנוסף למדדי הבדיקה הרגילים. סרטוני וידיאו אלה כוללים אינדיקציות ויזואליות לפעולות שרובו ביצע במהלך הסריקה, בדומה לתכונה 'הצג נגיעות' באנדרואיד. אתה יכול להשתמש באינדיקציות כדי לעזור לך לעקוב אחר ההתקדמות של רובו, ולשחזר כל באגים שהוא עלול לחשוף.

סרטון תוצאות בדיקת רובו לדוגמא

תוצאות בדיקת רובו

לפרש תוצאות מביצוע בדיקה בודד

מדף תוצאות מטריצת הבדיקה, לחץ על אחת מביצוע הבדיקה כדי לראות את התוצאה של אותה בדיקה ספציפית.

דוגמא לדף תוצאות ביצוע בדיקות תוצאות ביצוע הבדיקה

בדף זה תוכל לראות את הזמן הנדרש לכל ביצוע בדיקה. תוכל גם לראות את התוצאות של מקרי בדיקה ספציפיים המתאימים לשיטות ב- APK הבדיקה שלך (לבדיקות מכשור) ותוצאות בדיקה מפורטות, כולל יומני בדיקה, צילומי מסך וסרטונים. עבור מבחן רוב , תוצאות בדיקה מפורטות גם לכלול מפת פעילות גרפית מציגה את נתיבי UI שהיו בקרו מבחן רוב.

תוצאות בדיקת מכשור מחולקות

כדי לסייע לך לפרש את תוצאות הבדיקה המכשיר, Test Lab מפריד כל בדיקה לדף דו"ח מפורט משלה, הכולל עקבות מחסנית, יומני וידיאו. תכונה זו פועלת בין אם אתה משתמש ב- Android Orchestrator ובין אם לא.

דוגמא לדף תוצאות בדיקת מבחן תוצאות בדיקת הבדיקה

לפרש תוצאות נגישות

בדיקות Robo משתמשות בסורק נגישות אנדרואיד כדי לזהות בעיות נגישות באפליקציה שלך (שים לב שאתה יכול גם להריץ סריקה באופן מקומי במכשיר שלך). לקבלת הוראות כיצד לבחון ולפרש את תוצאות הנגישות של מבחן רובו שלך, ביקור הצעדים ראשון עם נגישות סורק .

לקבלת מידע כללי על איך לשפר את הנגישות של האפליקציה שלך, בקר בנושא הנגישות של Android Developer .

מדדי ביצועים

בדיקות שנערכות במכשירים פיזיים מחזירות גם מדדי ביצועים:

מֶטרִי תצורת המכשיר הנדרשת
זמן הפעלה של אפליקציה API 19+
שימוש במעבד API 21+
שימוש בזיכרון
פעילות רשת
פריימים לשניה API 21+ וכולל SurfaceView
ביצועי גרפיקה API 23+

פרטי ביצועי גרפיקה

דוח ביצועי הגרפיקה מכיל נתונים סטטיסטיים על מספר מדדי גרפיקה מרכזיים:

  • שלא נענה Vsync: מספר אירועי Vsync החמיצו, מחולקים במספר המסגרות כי לקחו זמן רב יותר 16 מילישניות כדי להבהיר.
  • חביון קלט גבוה: מספר אירועי קלט כי לקחו זמן רב יותר 24 מילישניות, מחולקים במספר המסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • UI חוט איטי: מספר הפעמים החוט UI לקח יותר מ 8 MS כדי להשלים, מחולק במספר מסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • פקודות המשיכה האיטית: מספר הפעמים כי שליחת פקודות תיקו ל GPU לקח יותר מ 12 מילישניות, מחולק במספר מסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • שנוסף מפה סיבית איטית: מספר הפעמים כי המפה הסיבית לקחה זמן רב יותר 3.2 ms להעלות ל GPU מחולק במספר המסגרות כי לקח זמן רב יותר 16 מילישניות כדי להבהיר.
  • Render זמן: חלוקת לגמול פעמים עבור כל מסגרת של הפעלה נסיונית. זמני עיבוד העולים על 32 אלפיות השנייה גורמים להאטה ניכרת בממשק המשתמש שלך. זמני עיבוד של 700+ מצביעים על מסגרות קפואות. Render הנתונים שנאספו dumpsys graphicsstats .

תוצאות בדיקה מפורטות

תוצאות בדיקה מפורטות זמינות למשך 90 יום לאחר הפעלת הבדיקה והן מאוחסנות בדלי של אחסון בענן של Google (אך הן נראות גם במסוף Firebase). אתה יכול להציג תוצאות בדיקה מפורטות בתוך דלי אחסון הענן כאשר אתה לוחץ על צג מקור קבצים בדף תוצאות ביצוע בדיקה. כאשר תוצאות בדיקה מפורטות אינן זמינות עוד, אתה עדיין יכול לראות אילו בדיקות עברו או נכשלו.

כדי לשמר את תוצאות בדיקה מפורטות יותר מ 90 ימים, אתה צריך לשלוח את תוצאות הבדיקות הללו לתוך דלי אחסון ענן שבבעלותך באמצעות אפשרות שורת פקוד --results-דלי gcloud . לאחר מכן, תוכל להגדיר את הגדרת הגיל כדי לקבוע כמה זמן תוצאות נשמרות דלי האחסון בענן שלך. ראה תנאי Lifecycle לקבלת מידע על איך לשנות את הגדרת הגיל.