במסוף Firebase, אפשר לראות את התוצאות של כל הרצות הבדיקה הקודמות. לשם כך, עוברים אל DevOps & Engagement > Test Lab. בדף הזה מוצגות כל התוצאות המפורטות של הרצות הבדיקה מהאפליקציות שבדקתם בפרויקט באמצעות Test Lab. בדף מוצגות בדיקות שהופעלו דרך מסוף Firebase או ה-CLI של Firebase.
בהמשך מוסבר איך לנתח את תוצאות הבדיקה.
לצפייה בתוצאות הבדיקה
אחרי שמעלים או בוחרים בדיקה ומציינים את מכשירי הבדיקה, אפשר לראות סיכום של תוצאות הבדיקה (כולל יומנים, סרטונים וצילומי מסך) במרכז הבקרה DevOps & Engagement > Test Lab במסוף Firebase. תוצאות הבדיקה הגולמיות מאוחסנות גם בקטגוריה של Google Cloud, כדי שיהיה קל יותר להשתמש בהן במערכות CI.
שם תופיע רשימה של כל הרצות הבדיקה הקודמות. כדי להבין את התוצאות, כדאי לדעת קצת על מטריצות בדיקה: כשמריצים בדיקה או קבוצה של מקרי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מריץ את הבדיקה באפליקציה באצווה, ואז מציג את התוצאות כמטריצת בדיקה.
מכשירים × הפעלות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או מכשיר וירטואלי (Android בלבד) שמריצים בו בדיקה, כמו טלפון, טאבלט או מכשיר לביש. המכשירים במטריצת הבדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והלוקאל (שנקרא גם הגדרות גיאוגרפיה ושפה).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת בכל מכשיר, או לפצל את הבדיקה ולהריץ את מקרי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ואת תוצאות הבדיקה של ביצועי הבדיקות. אם ביצוע בדיקה כלשהו במטריצה נכשל, כל המטריצה נכשלת.
פירוש התוצאות של מטריצת הבדיקה
אם תתחילו את הבדיקות במסוף Firebase, Test Lab יעביר אתכם ישירות למטריצת הבדיקה שבתהליך, שבה תוכלו לעקוב אחרי התקדמות הבדיקות בזמן אמת. אם השתמשתם בכלי שורת הפקודה, אתם יכולים לעבור לכתובת ה-URL שהוא מספק כדי להגיע לדף של מטריצת הבדיקה שבתהליך.
במטריצה יש שורה לכל ביצוע בדיקה ש-Test Lab מריץ. הסמל שלפני שם ההפעלה מציג את הסטטוס של אותה הפעלה:
- play_circle_outline בתהליך: ביצוע הבדיקה עדיין פועל. ההפעלה יכולה להימשך עד שעה, בהתאם למספר הבדיקות באפליקציה ולמורכבות שלהן.
- check_circle עבר: אף אחת מהבדיקות של ההרצה לא נכשלה.
- warning נכשל: לפחות אחת מהבדיקות של ההרצה נכשלה.
- שגיאה לא חד-משמעי: תוצאות הבדיקה לא היו חד-משמעיות, יכול להיות שבגלל שגיאה מסוג Test Lab.
- block Skipped: Test Lab skipped your test, because the device/OS version combination you selected is unavailable.
פירוש התוצאות של ביצוע בדיקה אחת
בדף התוצאות של מטריצת הבדיקה, לוחצים על אחת מהרצות הבדיקה כדי לראות את התוצאה של הרצת הבדיקה הספציפית הזו.
בדף מוצגים נתונים סטטיסטיים של ביצוע הבדיקה, כולל בעיות שנתקלו בהן במהלך הבדיקה, רשימה של מקרי בדיקה, יומנים מהביצוע וסרטון של הבדיקה שפועלת.
תוצאות בדיקה מפורטות
תוצאות הבדיקה המפורטות זמינות בקטגוריה Google Cloud Storage למשך 90 יום. כדי לראות את הקטגוריה, לוחצים על View Source Files בדף התוצאות של ביצוע הבדיקה.
כדי לשמור את תוצאות הבדיקה המפורטות למשך יותר מ-90 יום, צריך לשלוח את תוצאות הבדיקה לקטגוריה קבועה יותר של Cloud Storage שבבעלותכם, באמצעות האפשרות --results-bucket בשורת הפקודה של gcloud. אחר כך אפשר להגדיר את ההגדרה Age כדי לקבוע כמה זמן Cloud Storage ישמור את התוצאות. מידע נוסף על שינוי ההגדרה Age זמין במאמר תנאי מחזור חיים.