במסוף Firebase, אפשר לראות את התוצאות של כל ההרצות הקודמות של הבדיקות. לשם כך, עוברים אל DevOps & Engagement (פיתוח אפליקציות ואינטראקציה) > Test Lab. בדף הזה מוצגות כל התוצאות המפורטות של הרצות הבדיקות מהאפליקציות שנבדקו בפרויקט באמצעות Test Lab. בדף מוצגות בדיקות שהורצו דרך מסוף Firebase או דרך Firebase CLI.
בהמשך המאמר מוסבר איך לנתח את תוצאות הבדיקה.
צפייה בתוצאות הבדיקה
אחרי שמעלים או בוחרים בדיקה ומציינים את מכשירי הבדיקה, אפשר לראות סיכום של תוצאות הבדיקה (כולל יומנים, סרטונים וצילומי מסך) בלוח הבקרה DevOps & Engagement > Test Lab במסוף Firebase. תוצאות הבדיקה הגולמיות מאוחסנות גם בדלי Google Cloud כדי שיהיה קל יותר להשתמש בהן במערכות CI.
תופיע רשימה של כל ההרצות הקודמות של הבדיקות. כדי להבין את התוצאות, כדאי לדעת קצת על מטריצות בדיקה: כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מריץ את הבדיקה באפליקציה שלכם באצווה, ואז מציג את התוצאות כמטריצת בדיקה.
מכשירים × הרצות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או מכשיר וירטואלי (Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לביש. המכשירים במטריצת הבדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והלוקאל (נקרא גם הגדרות גיאוגרפיות ושפה).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלק את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ואת תוצאות הבדיקות של הרצת הבדיקות. אם ביצוע בדיקה כלשהי במטריצה נכשל, כל המטריצה נכשלת.
פירוש התוצאות של מטריצת הבדיקה
אם מתחילים את הבדיקות ב-Firebase console, Test Lab מעביר אתכם ישירות למטריצת הבדיקות שנמצאת בתהליך, שבה תוכלו לעקוב אחרי התקדמות הבדיקות בזמן אמת. אם השתמשתם בכלי של שורת הפקודה, תוכלו ללחוץ על כתובת ה-URL שהוא מספק כדי להגיע לדף מטריצת הבדיקה בתהליך.
במטריצה יש שורה לכל ביצוע בדיקה Test Lab. הסמל שלפני שם ההפעלה מציג את הסטטוס של ההפעלה:
- play_circle_outline בתהליך: ההרצה של הבדיקה עדיין מתבצעת. משך ההרצה יכול להיות עד שעה, בהתאם למספר הבדיקות באפליקציה ולמורכבות שלהן.
- check_circle עבר: אף אחת מהבדיקות של ההפעלה לא נכשלה.
- אזהרה נכשל: לפחות אחת מהבדיקות של ההפעלה נכשלה.
- שגיאה לא חד-משמעי: תוצאות הבדיקה לא היו חד-משמעיות, יכול להיות בגלל שגיאה Test Lab.
- block Skipped: Test Lab skipped your test, because the device/OS version combination you selected is unavailable.
פירוש תוצאות מביצוע בדיקה יחיד
בדף התוצאות של מטריצת הבדיקות, לוחצים על אחת מהרצות הבדיקה כדי לראות את התוצאה של הרצת הבדיקה הספציפית הזו.
בדף מוצגים נתונים סטטיסטיים של הרצת הבדיקה, כולל בעיות שנתקלו בהן במהלך הבדיקה, רשימה של תרחישי בדיקה, יומנים מההרצה וסרטון של הבדיקה.
תוצאות בדיקה מפורטות
תוצאות מפורטות של הבדיקה זמינות בדלי Google Cloud Storage למשך 90 יום. בדף התוצאות של ביצוע בדיקה, לוחצים על View Source Files (הצגת קובצי המקור) כדי לראות את הקטגוריה.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 ימים, צריך לשלוח את תוצאות הבדיקה לCloud Storage באקט קבוע יותר שבבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה gcloud. לאחר מכן, תוכלו להגדיר את ההגדרה Age כדי לקבוע כמה זמן Cloud Storage ישמור את התוצאות. למידע נוסף על שינוי ההגדרה Age, אפשר לעיין במאמר בנושא תנאים של מחזור חיים.