דף זה מספק עזרה בפתרון בעיות ותשובות לשאלות נפוצות לגבי הפעלת בדיקות עם Firebase Test Lab. גם בעיות ידועות מתועדות. אם אינך מוצא את מה שאתה מחפש או זקוק לעזרה נוספת, הצטרף לערוץ #test-lab ב-Firebase Slack או צור קשר עם התמיכה של Firebase .
פתרון תקלות
כאשר אתה בוחר מכשיר עם רמת קיבולת גבוהה בקטלוג Test Lab, הבדיקות עשויות להתחיל מהר יותר. כאשר למכשיר יש קיבולת נמוכה, ביצוע הבדיקות עשוי להימשך זמן רב יותר. אם מספר הבדיקות שהופעלו גדול בהרבה מהקיבולת של המכשירים שנבחרו, סיום הבדיקות עשוי להימשך זמן רב יותר.
בדיקות הפועלות בכל רמת קיבולת המכשיר עשויות להימשך זמן רב יותר עקב הגורמים הבאים:
- תנועה, המשפיעה על זמינות המכשיר ומהירות הבדיקה.
- כשלים במכשיר או בתשתית, שיכולים לקרות בכל עת. כדי לבדוק אם יש תשתית מדווחת עבור Test Lab, עיין בלוח המחוונים של הסטטוס של Firebase .
למידע נוסף על קיבולת המכשיר ב-Test Lab, ראה מידע על קיבולת המכשיר עבור Android ו- iOS .
תוצאות בדיקה לא חד משמעיות מתרחשות בדרך כלל בגלל ריצות בדיקה שבוטלו או שגיאות תשתית.
שגיאות תשתית נגרמות כתוצאה מבעיות פנימיות במעבדת בדיקות, כמו שגיאות רשת או התנהגויות בלתי צפויות של מכשירים. מעבדת הבדיקה מוציאה לפועל ריצות בדיקה שמייצרות שגיאות תשתית מספר פעמים לפני דיווח על תוצאה לא חד משמעית; עם זאת, אתה יכול להשבית ניסיונות חוזרים אלה באמצעות failFast .
כדי לקבוע את סיבת השגיאה, בצע את השלבים הבאים:
- בדוק אם יש הפסקות ידועות בלוח המחוונים של הסטטוס של Firebase .
נסה שוב את הבדיקה ב-Test Lab כדי לוודא שהיא ניתנת לשחזור.
נסה להפעיל את הבדיקה במכשיר אחר או בסוג אחר, אם רלוונטי.
אם הבעיה נמשכת, צור קשר עם צוות Test Lab בערוץ #test-lab ב-Firebase Slack.
פיצול עלול לגרום לבדיקות שלך להימשך זמן רב יותר כאשר מספר הרסיסים שציינת חורג ממספר המכשירים הזמינים לשימוש ב-Test Lab. כדי להימנע ממצב זה, נסה לעבור למכשיר אחר. למידע נוסף על בחירת התקן אחר, ראהקיבולת התקן .
כאשר אתה שולח בקשת בדיקה, האפליקציה שלך מאומתת לראשונה, נחתמת מחדש וכו' כהכנה להפעלת בדיקות במכשיר. בדרך כלל, תהליך זה מסתיים תוך פחות מכמה שניות, אך הוא יכול להיות מושפע מגורמים כמו גודל האפליקציה שלך.
לאחר הכנת האפליקציה שלך, ביצועי בדיקה מתוזמנים ונשארים בתור עד שמכשיר מוכן להפעיל אותה. עד שכל ביצועי הבדיקה יסיימו לרוץ, סטטוס המטריצה יהיה "בהמתנה" (ללא קשר אם ביצועי הבדיקה נמצאים בתור או פועלים באופן פעיל).
לאחר סיום ביצוע הבדיקה, פריטי בדיקה יורדים מהמכשיר, מעובדים ומועלים ל-Cloud Storage. משך שלב זה יכול להיות מושפע מכמות וגודל החפצים.
שאלות נפוצות
מעבדת הבדיקות של Firebase מציעה מכסות ללא עלות לבדיקות במכשירים ולשימוש ב-Cloud APIs. שימו לב שמכסת הבדיקות משתמשת בתוכנית התמחור הרגילה של Firebase, בעוד שמכסות ה-API של Cloud לא.
מכסת בדיקות
מכסות הבדיקה נקבעות לפי מספר המכשירים המשמשים להפעלת בדיקות. לתוכנית Firebase Spark יש מכסת בדיקות קבועה ללא עלות למשתמשים. עבור תוכנית Blaze, המכסות שלך עשויות לגדול אם השימוש שלך ב-Google Cloud יגדל עם הזמן. אם אתה מגיע למכסת הבדיקות שלך, המתן ליום המחרת או שדרג לתוכנית Blaze אם אתה כרגע בתוכנית Spark. אם אתה כבר בתוכנית Blaze, אתה יכול לבקש הגדלת מכסה. למידע נוסף, ראה מכסת בדיקה .
אתה יכול לעקוב אחר השימוש במכסת הבדיקות שלך ב- Google Cloud Console .
מכסת API של בדיקות ענן
ה-Cloud Testing API מגיע עם שתי מגבלות מכסה: בקשות ליום לפרויקט, ובקשות לכל 100 שניות לפרויקט. אתה יכול לעקוב אחר השימוש שלך ב- Google Cloud Console .
מכסת ה-API של Cloud Tool Results
ה-Cloud Tool Results API מגיע עם שתי מגבלות מכסה: שאילתות ליום לפרויקט, ושאילתות לכל 100 שניות לפרויקט. אתה יכול לעקוב אחר השימוש שלך ב- Google Cloud Console .
עיין במכסות Cloud API עבור Test Lab למידע נוסף על מגבלות API. אם הגעת למכסת API:
שלח בקשה למכסות גבוהות יותר על ידי עריכת המכסות שלך ישירות ב-Google Cloud Console (שים לב שרוב המגבלות מוגדרות למקסימום כברירת מחדל), או
בקש מכסות API גבוהות יותר על ידי מילוי טופס בקשה ב-Google Cloud Console או על ידי פנייה לתמיכה של Firebase .
מהקצה העורפי שלך, אתה יכול לקבוע אם תעבורה מגיעה ממכשירי בדיקה המתארחים ב-Firebase על ידי בדיקת כתובת ה-IP המקור מול טווחי ה-IP שלנו.
Test Lab לא עובד עם VPC-SC, שחוסם את ההעתקה של אפליקציות וחפצי בדיקה אחרים בין האחסון הפנימי של Test Lab לבין דלי תוצאות המשתמשים.
כדי לזהות התנהגות מתקלפת בבדיקות שלך, אנו ממליצים להשתמש באפשרות--num-flaky-test-attempts. שידורים חוזרים של Deflake מחויבים או נספרים כחלק מהמכסה היומית שלך בדומה לביצוע בדיקות רגילות.
זכור את הדברים הבאים:
- כל ביצוע הבדיקה פועל שוב כאשר מזוהה כשל. אין תמיכה בניסיון חוזר רק מקרי בדיקה שנכשלו.
- ריצות נסיונות חוזרות של Deflake מתוכננות לפעול בו-זמנית, אך לא מובטחות לפעול במקביל, למשל, כאשר התעבורה עולה על מספר המכשירים הזמינים.
בעוד שחלק מהפריטים הללו נמצאים במפת הדרכים שלנו, איננו יכולים כרגע לספק מחויבות לתמיכה בפלטפורמות הבדיקות ופיתוח האפליקציות הללו.
מידע מפורט על המכשיר זמין דרך ה-API וניתן לגשת אליו מלקוח gcloud באמצעות הפקודה describe :
gcloud firebase test ios models describe MODEL
Sharding אינו נתמך באופן מקורי ב-Test Lab עבור iOS. עם זאת, אתה יכול להשתמש בלקוח Flank כדי לפזר מקרי בדיקה של iOS.
זה עובד על ידי הגדרת המפתח והערכים OnlyTestIdentifiers בקובץ .xctestrun . ראה דף man עבור xcodebuild.xctestrun לפרטים נוספים.
בעיות ידועות
בדיקת רובו אינה יכולה לעקוף מסכי כניסה הדורשים פעולת משתמש נוספת מעבר להזנת אישורים לכניסה, למשל, השלמת CAPTCHA.
מבחן Robo עובד בצורה הטובה ביותר עם אפליקציות המשתמשות ברכיבי ממשק משתמש ממסגרת ממשק המשתמש של אנדרואיד (כולל אובייקטי View , ViewGroup ו- WebView ). אם אתה משתמש במבחן Robo כדי להפעיל אפליקציות המשתמשות במסגרות ממשק משתמש אחרות, כולל אפליקציות המשתמשות במנוע המשחק Unity, הבדיקה עשויה לצאת מבלי לחקור מעבר למסך הראשון.