יש כמה דרכים להשתמש ב-Firebase Test Lab כדי להריץ בדיקות באפליקציה ל-Android, כולל ממשק שורת הפקודה, Android Studio, ממשק המשתמש של Test Lab במסוף Firebase ו-Testing API. לא משנה איך תבחרו להתחיל את הבדיקות, התוצאות יישמרו בפרויקט Firebase שציינתם. אפשר לבחון את התוצאות באמצעות ToolResults API, בנוסף לכל אחד מהכלים שלמעלה. בדף הזה נסביר איך לבדוק ולנתח את תוצאות הבדיקה האלה.
מושגים מרכזיים
כדי לראות את התוצאות מכל הפעלות הבדיקה הקודמות, בוחרים באפשרות Test Lab בחלונית הניווט הימנית של הפרויקט במסוף Firebase. בדף הזה מוצגים כל הרצות הבדיקה של האפליקציות שבדקתם עם הפרויקט באמצעות Test Lab.
כדי לבדוק את תוצאות הבדיקה, קודם צריך להבין שלושה מושגים:
כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מפעיל את הבדיקה באפליקציה באצווה, ולאחר מכן מציג את התוצאות כמטריצה של בדיקות.
מכשירים × הרצאות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (ל-Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לבישה. המכשירים במטריצת בדיקה מזוהים לפי דגם המכשיר, הגרסה של מערכת ההפעלה, כיוון המסך והלוקאל (שנקראים גם הגדרות גיאוגרפיה ושפה).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלופין לפצל את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ותוצאות הבדיקות של פעולות הבדיקה. אם ביצוע בדיקה במטריצה נכשל, כל המטריצה נכשלת.
בקטעים הבאים מוסבר איך לנווט בתוצאות הבדיקה.
פירוש התוצאות של היסטוריית הבדיקות
כשנכנסים לתוצאות הבדיקה באמצעות בחירה באפשרות Test Lab, מוצגות תוצאות הבדיקות שהרצתם עד עכשיו.
היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגות לכל אפליקציה. אם יש יותר מטריצות זמינות, אפשר ללחוץ על הקישור כל המטריצות שבתחתית רשימת הבדיקות של האפליקציה כדי לראות את הרשימה המלאה של האפליקציה הזו.
פירוש תוצאות מטריצת הבדיקה
כשמתחילים בדיקה דרך ממשק המשתמש של Test Lab, מופנית אתכם לדף שבו אפשר לראות את מטריצת הבדיקות, וללחוץ על הפעלת בדיקה ספציפית כדי להציג את תוצאות הבדיקה. גם Android Studio וגם הפקודה gcloud מספקות כתובת URL לדף התוצאות של מטריצת הבדיקות.
במטריצה רגילה של בדיקות, יכול להיות שתפעילו בדיקה בכמה עשרות מכשירים שונים. לכל הפעלה של בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות של כל ביצוע בדיקה במטריצת בדיקה כוללות:
- עבר
: לא נמצאו כשלים. - נכשל
: אירעה לפחות כשל אחד. - לא חד-משמעיות
: תוצאות הבדיקה לא היו חד-משמעיות, אולי בגלל שגיאה מסוג Test Lab. 
עברה על פני: ערכי המאפיינים שנבחרו להרצות מסוימות של הבדיקות במטריצה לא היו תואמים. המצב הזה קורה כשהמכשירים שבחרתם לא תואמים לרמה אחת או יותר של Android API שבחרתם.
כדי לבדוק את תוצאות הבדיקה המצטברות של כל מטריצות הבדיקה של אפליקציה מסוימת בפרויקט Firebase, לוחצים על שם האפליקציה, כפי שמתואר בדוגמה הבאה:
דוגמה לדף תוצאות של מטריית בדיקות עם ארבעה פעולות בדיקה בלבד
תועברו לרשימה של מטריצות הבדיקה של האפליקציה. תוכלו ללחוץ על השם של כל מטריצה כדי לראות את תוצאות הבדיקה, ועל השם של האפליקציה (שמוצג בתיבה האדומה שבהמשך) כדי לראות את רשימת מטריצות הבדיקה של אפליקציות אחרות שמשויכות לפרויקט ב-Firebase.
דוגמה לדף רשימת מטריצות בדיקה
מטריית בדיקה יכולה לעבור, להיכשל או להיות לא חד-משמעית. אם אחת מהפעלות הבדיקה במטריצה נכשלה או לא מניבת תוצאה חד-משמעית, המטריצה תסומן כ'נכשלה' או כ'לא חד-משמעית'.
פירוש תוצאות הבדיקה של Robo
אם הרצתם את הבדיקות ב-Robo, התוצאות יכללו סרטונים וצילומי מסך של Robo שסורק את ממשק המשתמש שלכם, בנוסף למדדי הבדיקה הרגילים. הסרטונים והצילומים המפורטים כוללים אינדיקציות חזותיות של הפעולות שבוצעו על ידי ה-Robo במהלך הסריקה, בדומה לתכונה 'הצגת נגיעות' ב-Android. תוכלו להשתמש בהנחיות כדי לעקוב אחרי ההתקדמות של Robo ולשחזר באגים שהוא עשוי לגלות.
דוגמה לסרטון תוצאות בדיקה של Robo
פירוש התוצאות מביצוע בדיקה אחת
בדף התוצאות של מטריצת הבדיקות, לוחצים על אחת מהפעלות הבדיקה כדי לראות את התוצאה של הפעלת הבדיקה הספציפית הזו.
דוגמה לדף תוצאות של בדיקה
בדף זה מוצג הזמן הנדרש לכל ביצוע בדיקה. תוכלו גם לראות את התוצאות של תרחישי בדיקה ספציפיים שתואמים לשיטות בחבילת ה-APK לבדיקה (לבדיקות של מכשירי מדידה) ותוצאות בדיקה מפורטות, כולל יומני בדיקה, צילומי מסך וסרטונים. בבדיקת Robo, תוצאות הבדיקה המפורטות כוללות גם מפת פעילות שבה מוצגים באופן גרפי הנתיבים בממשק המשתמש שבהם בוצעה בדיקת ה-Robo.
תוצאות בדיקת אינסטרומנטציה עם חלוקה למחיצות
כדי לעזור לכם לפרש את תוצאות הבדיקות עם המדדים, Test Lab מפריד כל בדיקה לדף דוח מפורט משלה, עם מעקב סטאק, יומנים וסרטונים. התכונה הזו פועלת גם אם אתם משתמשים ב-Android Orchestrator וגם אם לא.
דוגמה לדף תוצאות של בדיקת תוכנה
פרשנות של תוצאות הנגישות
בדיקות Robo משתמשות ב-Android Accessibility Scanner כדי לזהות בעיות נגישות באפליקציה (שימו לב שאפשר גם להריץ סריקה באופן מקומי במכשיר שלכם). במאמר תחילת העבודה עם Accessibility Scanner מוסבר איך לבדוק ולפרש את תוצאות הנגישות של בדיקת ה-Robo.
מידע כללי על שיפור הנגישות של האפליקציה זמין בתיעוד למפתחים של Android בנושא נגישות.
מדדי ביצועים
הבדיקות שפועלות במכשירים פיזיים מחזירות גם את מדדי הביצועים:
| מדד | ההגדרה הנדרשת של המכשיר |
|---|---|
| זמן ההפעלה של האפליקציה | API 19+ |
| ניצול יחידת העיבוד המרכזית (CPU) | API מגרסה 21 ואילך |
| שימוש בזיכרון | |
| פעילות ברשת | |
| FPS | API מגרסה 21 ואילך, וכולל SurfaceView |
תוצאות בדיקה מפורטות
תוצאות הבדיקה המפורטות זמינות למשך 90 יום אחרי שמריצים בדיקה, והן מאוחסנות בקטגוריה Google Cloud Storage (אבל הן גלויות גם במסוף Firebase). כדי להציג תוצאות בדיקה מפורטות בקטגוריה Cloud Storage, לוחצים על Test results בדף תוצאות ביצוע הבדיקה. גם אם תוצאות הבדיקה המפורטות כבר לא זמינות, עדיין תוכלו לראות אילו בדיקות עברו או נכשלו.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, צריך לשלוח את תוצאות הבדיקה האלה לקטגוריית Cloud Storage שנמצאת בבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה של gcloud. לאחר מכן אפשר להגדיר את ההגדרה Age כדי לקבוע כמה זמן יישמרו התוצאות בקטגוריה Cloud Storage. במאמר תנאי מחזור חיים מוסבר איך לשנות את ההגדרה גיל.