פתרון בעיות ב-Test Lab & שאלות נפוצות

למה הבדיקה נמשכת כל כך הרבה זמן?

כשבוחרים מכשיר עם רמת קיבולת גבוהה בקטלוג Test Lab, ייתכן שהבדיקות יתחילו מהר יותר. כאשר הקיבולת של המכשיר נמוכה, לכן הרצת הבדיקות עשויה להימשך זמן רב יותר. אם מספר הבדיקות שמופעלות הרבה יותר גדולות מהקיבולת של המכשירים שנבחרו, הבדיקות יכול להימשך זמן רב יותר.

בדיקות שפועלות בכל רמת קיבולת של המכשיר עשויות להימשך זמן רב יותר, הגורמים הבאים:

• תנועה שמשפיעה על זמינות המכשירים ועל מהירות הבדיקה.
• כשלים במכשיר או בתשתיות. תקלות יכולות להתרחש בכל שלב. כדי לבדוק אם קיימת תשתית מדווחת עבור Test Lab, עיין ב לוח הבקרה של סטטוס Firebase.

למידע נוסף על קיבולת המכשיר ב-Test Lab, יש לעיין בקיבולת המכשיר ל-Android ול-iOS.

למה מתקבלות תוצאות בדיקה שהן לא חד-משמעיות?

לרוב, תוצאות בדיקה שהן לא חד-משמעיות מתרחשות בגלל הרצת בדיקות שבוטלו או שגיאות בתשתית.

שגיאות בתשתית נגרמות כתוצאה מבעיות Test Lab פנימיות, כמו שגיאות ברשת או התנהגות לא צפויה של המכשיר. Test Lab הפעלות בדיקה פנימיות של ההוצאה משימוש שמייצרות שגיאות תשתית כמה פעמים לפני שמדווחים תוצאה לא חד-משמעית; עם זאת, אפשר להשבית ניסיונות חוזרים אלו באמצעות failFast.

כדי לקבוע את הגורם לשגיאה, פועלים לפי השלבים הבאים:

1. בודקים אם יש הפסקות זמניות בשירות ידועות בלוח הבקרה של סטטוס Firebase.

2. צריך לנסות שוב את הבדיקה ב-Test Lab כדי לוודא שהיא ניתנת לשחזור.

3. אם רלוונטי, נסו להריץ את הבדיקה במכשיר או בסוג מכשיר אחר.

אם הבעיה נמשכת, אפשר לפנות לצוות Test Lab ב #test-lab channel הוא Firebase Slack.

למה הפיצול גרם לבדיקות ארוך יותר?

פיצול יכול לגרום לבדיקות לפעול למשך זמן רב יותר כשמספר הפיצולים שצוין חורג ממספר המכשירים הזמינים לשימוש ב-Test Lab. שפת תרגום כדי להימנע מהמצב הזה, כדאי לנסות לעבור למכשיר אחר. אפשר לקבל מידע נוסף על בחירת מכשיר אחר, קיבולת המכשיר.

למה לוקח זמן רב כל כך להתחיל את הבדיקה?

כששולחים בקשת בדיקה, האפליקציה מאומתת לראשונה, נחתמת מחדש וכו'. להתכונן להרצת בדיקות במכשיר. בדרך כלל, התהליך הזה מסתיים פחות מכמה שניות, אבל הוא יכול להיות מושפע מגורמים כמו גודל אפליקציה.

אחרי שהאפליקציה מוכנה, ההפעלות של הבדיקות מתוזמנות ונשארות בתור עד שהמכשיר מוכן להפעיל אותו. עד שכל הרצאות הבדיקות יסתיימו, סטטוס המטריצה יהיה 'בהמתנה' (ללא קשר לכך שהרצאות הבדיקות נמצאות בתור או שפועלות באופן פעיל).

למה לוקח הרבה זמן עד לסיום הבדיקה?

בסיום ביצוע הבדיקה, תתבצע הורדה של פריטי מידע שנוצרו בתהליך פיתוח (Artifact) של הבדיקה המכשיר, עובדה והועלתה אל Cloud Storage. משך הזמן של השלב הזה להיות מושפעים מהכמות והגודל של פריטי המידע שנוצרו בתהליך הפיתוח (Artifact).

מהן המכסות ללא עלות? של Test Lab? מה אפשר לעשות אם ייגמר לי המקום?

ב-Firebase Test Lab יש מכסות ללא עלות לבדיקה במכשירים ולשימוש ממשקי API של הענן. שימו לב שמכסת הבדיקות מבוססת על תוכנית התמחור והתשלומים הרגילה של Firebase, ואילו המכסות של Cloud API לא משתנות.

• בדיקת המכסה

  מכסות הבדיקה נקבעות לפי מספר המכשירים שמשמשים להפעלת בדיקות. בתוכנית Firebase Spark יש מכסה קבועה לבדיקה ללא עלות למשתמשים. בתוכנית Blaze, המכסות עשויות לגדול אם השימוש שלכם ב-Google Cloud יגדל עם הזמן. אם הגעת למכסת הבדיקות שלך, עליך להמתין למועד הבא או לשדרג לתוכנית Blaze, אם אתם כרגע בתוכנית Spark. אם אתם כבר בתוכנית Blaze, תוכלו לבקש הגדלה של המכסה. מידע נוסף זמין במאמר הבא: בדיקה של מכסות

  אפשר לעקוב אחרי ניצול המכסה לבדיקה במסוף Google Cloud.

• מכסה של Cloud Testing API

  ל-Cloud Testing API יש שתי מגבלות מכסות: בקשות ליום ובקשות לכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש במסוף Google Cloud.

• המכסה של Cloud Tool Results API

  ל-Cloud Tool Results API יש שתי מגבלות מכסות: שאילתות ליום בכל ושאילתות לכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש במסוף Google Cloud.

  מידע נוסף על המכסות של Cloud API ל-Test Lab לקבלת מידע נוסף על מגבלות API. אם הגעתם למכסת ה-API:

  • צריך להגיש בקשה להגדלה של המכסות עד עריכת המכסות ישירות במסוף Google Cloud (שימו לב שרוב המגבלות מוגדרות מקסימום כברירת מחדל), או

  • כדי לבקש הגדלה של מכסות ה-API, אפשר למלא טופס בקשה במסוף Google Cloud או לפנות לתמיכה של Firebase.

איך אוכל לדעת אם התנועה שמגיעה לקצה העורפי שלי מגיעה מ-Test Lab?

מהקצה העורפי שלכם אפשר לקבוע אם התנועה מגיעה מ-Firebase שמתארח ב-Firebase מכשירים על ידי בדיקת כתובת ה-IP של המקור מול טווחי IP.

האם Test Lab עובד עם VPC-SC?

Test Lab לא פועל עם VPC-SC, שמחסום את העתקת האפליקציות וארטיפקטים אחרים של בדיקות בין האחסון הפנימי של Test Lab לקטגוריות התוצאות של המשתמשים.

איך אני מזהה בדיקות לא יציבות Test Lab?

כדי לזהות התנהגות לא יציבה בבדיקות, מומלץ להשתמש --num-flaky-test-ניסיונות כאפשרות. שידורים חוזרים של Deflake מחויבים או נספרים במכסה היומית שלכם, בדיוק כמו ולבצע בדיקות רגילות.

זכור את הנקודות הבאות:

• כל ביצוע הבדיקה מופעל מחדש כשמזוהה כשל. אין תמיכה בניסיון חוזר רק של מקרי בדיקה שנכשלו.
• הפעלות של ניסיונות חוזרים של Deflake מתוכננות לפעול בו-זמנית, אבל לא מובטח שתפעל במקביל, לדוגמה, כשהתנועה תחרוג ממספר מכשירים זמינים.

האם Test Lab תומך? Appium, Flutter/FlutterDriver, ReactNative/Jest או מלפפון?

אמנם חלק מהפריטים האלה נמצאים בתוכנית שלנו, אבל בשלב זה אין לנו אפשרות לספק את המחויבות לתמיכה בפלטפורמות הבדיקה ופיתוח האפליקציות האלה.

איפה אפשר למצוא את פרטי המכשיר כמו רזולוציה וכו'.

מידע מפורט על המכשיר זמין דרך ה-API וניתן לגשת אליו של לקוח gcloud באמצעות תיאור הפקודה:

gcloud firebase test ios models describe MODEL

האם אפשר להשתמש בפיצול בבדיקות iOS?

אין תמיכה בפיצול בתוך Test Lab ל-iOS. אבל אפשר להשתמש בלקוח Flank כדי לפצל את מקרי הבדיקה של iOS.

כדי לעשות את זה, צריך להגדיר מפתח וערכים של OnlyTestIdentifiers בקובץ .xctestrun. אפשר למצוא פרטים נוספים בדף man של xcodebuild.xctestrun.

captcha לכניסה

בדיקת רובו לא יכולה לעקוף מסכי כניסה שמחייבים לבצע פעולות משתמש נוספות מעבר להזנת פרטי כניסה לכניסה, לדוגמה, השלמת CAPTCHA.

תמיכה ב-framework של ממשק משתמש

הבדיקה Robo פועלת בצורה הטובה ביותר עם אפליקציות שמשתמשות ברכיבים של ממשק המשתמש מממשק המשתמש של Android מסגרת (כולל View, ViewGroup ו-WebView) ). אם משתמשים בבדיקה של Robo כדי להפעיל אפליקציות שמשתמשות בממשק משתמש אחר frameworks, כולל אפליקציות שמשתמשות במנוע המשחק Unity, עשויה לצאת מהבדיקה בלי לחקור מעבר למסך הראשון.