פתרון בעיות ב-Test Lab & שאלות נפוצות

למה לוקח כל כך הרבה זמן להריץ את הבדיקה?

כשבוחרים מכשיר עם רמת קיבולת גבוהה בקטלוג Test Lab, יכול להיות שהבדיקות יתחילו מהר יותר. אם הקיבולת של המכשיר נמוכה, יכול להיות שהבדיקות יימשכו זמן רב יותר. אם מספר הבדיקות שהופעלו גדול בהרבה מהקיבולת של המכשירים שנבחרו, יכול להיות שהבדיקות יימשכו זמן רב יותר.

בדיקות שמופעלות בכל רמת קיבולת של מכשיר עשויות להימשך זמן רב יותר בגלל הגורמים הבאים:

• תנועת הגולשים, שמשפיעה על זמינות המכשיר ועל מהירות הבדיקה.
• כשלים במכשיר או בתשתית, שיכולים לקרות בכל שלב. כדי לבדוק אם יש תשתית מדווחת ל-Test Lab, אפשר לעיין בלוח הבקרה של הסטטוס של Firebase.

מידע נוסף על קיבולת המכשיר ב-Test Lab זמין במאמרים על קיבולת המכשיר ב-Android וב-iOS.

למה אני מקבל תוצאות לא חד-משמעיות של בדיקות?

תוצאות לא חד-משמעיות של בדיקות מתרחשות בדרך כלל בגלל ביטול של הרצת בדיקות או בגלל שגיאות בתשתית.

שגיאות בתשתית נגרמות מבעיות פנימיות ב-Test Lab, כמו שגיאות ברשת או התנהגויות לא צפויות של המכשיר. Test Lab המערכת מפסיקה באופן פנימי הפעלות של בדיקות שיוצרות שגיאות בתשתית כמה פעמים לפני שהיא מדווחת על תוצאה לא חד-משמעית. עם זאת, אפשר להשבית את הניסיונות החוזרים האלה באמצעות failFast.

כדי לגלות את הסיבה לשגיאה, מבצעים את השלבים הבאים:

1. כדאי לבדוק אם יש הפסקות זמניות ידועות בלוח הבקרה של סטטוס Firebase.

2. כדי לוודא שהבעיה ניתנת לשחזור, צריך לנסות שוב את הבדיקה ב-Test Lab.

3. אם אפשר, כדאי לנסות להריץ את הבדיקה במכשיר אחר או בסוג מכשיר אחר.

אם הבעיה נמשכת, אפשר לפנות Test Labלצוות בערוץ#test-lab ב-Firebase Slack.

למה הריצה של הבדיקות שלי נמשכה יותר זמן אחרי שחילקתי אותן?

החלוקה לשברים עלולה לגרום לבדיקות להימשך זמן רב יותר אם מספר השברים שציינתם גדול ממספר המכשירים שזמינים לשימוש ב-Test Lab. כדי להימנע מהמצב הזה, כדאי לנסות לעבור למכשיר אחר. מידע נוסף על בחירת מכשיר אחר זמין במאמר קיבולת המכשיר.

למה לוקח הרבה זמן עד שהבדיקה מתחילה?

כששולחים בקשת בדיקה, האפליקציה עוברת קודם אימות, חתימה מחדש וכו' כהכנה להרצת בדיקות במכשיר. בדרך כלל התהליך הזה מסתיים תוך כמה שניות, אבל הוא יכול להיות מושפע מגורמים כמו גודל האפליקציה.

אחרי שהאפליקציה מוכנה, מתוזמנות הרצות של הבדיקות והן נשארות בתור עד שמכשיר מוכן להריץ אותן. עד שכל הרצות הבדיקות מסתיימות, הסטטוס של המטריצה הוא 'בהמתנה' (לא משנה אם הרצות הבדיקות נמצאות בתור או שהן פועלות באופן פעיל).

למה לוקח כל כך הרבה זמן עד שהבדיקה מסתיימת?

אחרי שהבדיקה מסתיימת, מתבצעת הורדה של ארטיפקטים מהמכשיר, הם עוברים עיבוד ומועלים אל Cloud Storage. משך השלב הזה יכול להיות מושפע מכמות הארטיפקטים ומגודלם.

האפליקציה לא מחזירה נתונים ואי אפשר לאתר צילומי מסך

פריטי מידע על הרצת הבדיקה (כמו צילומי מסך וקבצי יומן) מאוחסנים ב-Google Cloud Storage ומוצגים ישירות במסוף Firebase. אם הרצת הבדיקה בוצעה ב-90 הימים האחרונים, צריך לוודא שהקציתם תפקידים ברמת הפרויקט (בעלים של הפרויקט, עורך הפרויקט או צופה בפרויקט). בנוסף, צריך לוודא ש-Cloud Audit Logging לא מופעל בפרויקט או בארגון.

אם ההרצה בוצעה לפני יותר מ-90 יום, סביר להניח שפריטי הבדיקה נמחקו אוטומטית. אפשר לבדוק את ההגדרה של קטגוריית התוצאות בלחיצה על הכרטיסייה Test results בלוח הבקרה Test Lab. קטגוריית התוצאות שמוגדרת כברירת מחדל שומרת אובייקטים למשך 90 יום.

כדי לשמור את תוצרי הבדיקה למשך זמן ארוך יותר, מריצים את הפקודה gcloud firebase test android run עם הדגל --results-bucket ומעבירים את שם קטגוריית התוצאות. מידע נוסף זמין במסמכי העזר של gcloud firebase test android run.

למה אני מקבל תוצאות חלקיות או חסרות של בדיקות אינסטרומנטציה?

כשמריצים בדיקות של מכשור, יכול להיות שיוצגו שגיאות בדיקה שמצביעות על תוצאות חלקיות שמכילות הודעות כמו Test run failed to complete. Expected x tests, received y (כאשר y קטן מ-x). השגיאה הזו מציינת ש-Test Lab לא הצליח לנתח את logcat כדי למצוא סמנים של התחלה או סיום של תרחיש בדיקה, שבדרך כלל נוצרים על ידי AndroidJUnitRunner.

אלה כמה מהסיבות הנפוצות לבעיה הזו:

מהן המכסות ללא עלות של Test Lab? מה צריך לעשות אם חורגים מהמכסות?

‫Firebase Test Lab מציעה מכסות ללא עלות לבדיקות במכשירים ולשימוש ב-Cloud APIs. שימו לב: המכסה לבדיקות מבוססת על תוכנית התמחור הרגילה של Firebase, אבל המכסות של Cloud APIs לא מבוססות עליה.

• מכסת בדיקות

  מכסות הבדיקות נקבעות לפי מספר המכשירים שמשמשים להרצת הבדיקות. בתוכנית Firebase Spark יש מכסת בדיקות קבועה ללא עלות למשתמשים. בתוכנית Blaze, יכול להיות שהמכסות יגדלו אם השימוש שלכם ב-Google Cloud יגדל עם הזמן. אם הגעתם למכסת הבדיקות, צריך לחכות עד למחרת או לשדרג למינוי Blaze אם יש לכם כרגע מינוי Spark. אם כבר יש לכם מינוי לתוכנית Blaze, אתם יכולים לבקש להגדיל את המכסה. מידע נוסף על מכסת הבדיקה

  אפשר לעקוב אחרי השימוש במכסת הבדיקות במסוף Google Cloud.

• מכסה ל-Cloud Testing API

  ל-Cloud Testing API יש שתי מכסות: בקשות ביום לכל פרויקט ובקשות בכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש במסוף Google Cloud.

• מכסה של Cloud Tool Results API

  ל-Cloud Tool Results API יש שתי מכסות: שאילתות ביום לכל פרויקט, ושאילתות בכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש ב-מסוף Google Cloud.

  למידע נוסף על מגבלות API, אפשר לעיין במאמר מכסות של Cloud API ל-Test Lab. אם הגעתם למכסת שימוש ב-API:

  • שולחים בקשה להגדלת המכסות על ידי עריכת המכסות ישירות במסוף Google Cloud (שימו לב שרוב המגבלות מוגדרות כברירת מחדל למקסימום), או

  • כדי לבקש מכסות גבוהות יותר של API, אפשר למלא טופס בקשה במסוף Google Cloud או לפנות אל התמיכה של Firebase.

איך אפשר לדעת אם התנועה שמגיעה לקצה העורפי שלי מגיעה מ-Test Lab?

מהקצה העורפי שלכם, אתם יכולים לבדוק את כתובת ה-IP של המקור מול טווח כתובות ה-IP שלנו כדי לקבוע אם התנועה מגיעה ממכשירי בדיקה שמארחים ב-Firebase.

האם Test Lab פועל עם VPC-SC?

‫Test Lab לא פועל עם VPC-SC, שחוסם את ההעתקה של אפליקציות ופריטי בדיקה אחרים בין האחסון הפנימי של Test Lab לבין דלי התוצאות של המשתמשים.

איך מזהים בדיקות לא יציבות ב-Test Lab?

כדי לזהות התנהגות לא יציבה בבדיקות, מומלץ להשתמש באפשרות ‎--num-flaky-test-attempts . החיוב על הפעלות חוזרות של בדיקות שנכשלו או שהן נספרות במסגרת המכסה היומית, בדיוק כמו הפעלות רגילות של בדיקות.

זכור את הנקודות הבאות:

• אם מזוהה כשל, כל ביצוע הבדיקה מופעל מחדש. אין תמיכה בניסיון חוזר רק של תרחישי בדיקה שנכשלו.
• הפעלות חוזרות של בדיקות לא יציבות מתוזמנות להפעלה באותו הזמן, אבל לא מובטח שהן יפעלו במקביל, למשל, כשתנועת הנתונים חורגת ממספר המכשירים הזמינים.

האם Test Lab תומך ב-Appium,‏ Flutter/FlutterDriver,‏ ReactNative/Jest או Cucumber?

חלק מהפריטים האלה נמצאים בתוכנית הפיתוח שלנו, אבל כרגע אין לנו אפשרות להתחייב לתמיכה בפלטפורמות האלה לבדיקות ולפיתוח אפליקציות.

איפה אפשר למצוא פרטים על המכשיר, כמו רזולוציה וכו'?

מידע מפורט על המכשיר זמין דרך ה-API, ואפשר לגשת אליו מלקוח gcloud באמצעות הפקודה describe:

gcloud firebase test ios models describe MODEL

האם אפשר להשתמש בפיצול (sharding) בבדיקות iOS?

אין תמיכה מובנית ב-sharding ב-Test Lab ל-iOS. עם זאת, אפשר להשתמש בלקוח Flank כדי לבצע sharding של תרחישי בדיקה ב-iOS.

כדי להשתמש בשיטה הזו, צריך להגדיר את המפתח OnlyTestIdentifiers ואת הערכים שלו בקובץ .xctestrun. פרטים נוספים מופיעים בדף man בנושא xcodebuild.xctestrun.

למה חסרים סרטונים בתוצאות של בדיקה ב-iOS?

ב-iOS 18 ואילך, אנחנו לא יכולים לתמוך בסרטונים בתוצאות.

האם Test Lab תומך במכשירים לבישים?

כן! ‫Test Lab תומך ב-Google Pixel Watch. עכשיו אפשר להריץ בדיקות באפליקציית Wear העצמאית בשעוני Google Pixel. מידע נוסף על מכשירים זמין במאמר בדיקה במכשירים זמינים.Test Lab

האם Test Lab תומך במכשירי Google העדכניים?

כן! ‫Test Lab תומך ב-Google Pixel Tablet וב-Google Pixel Fold. אפשר להריץ את הבדיקות במכשירים פיזיים עצמאיים. מידע נוסף על מכשירים זמין במאמר בדיקה במכשירים זמינים.Test Lab

איך מזהים בדיקה פעילה ב-Test Lab?

אם אתם בודקים את האפליקציה ב-Firebase או מריצים בדיקות לדוח טרום-הפעלה ב-Play Console, אתם יכולים לבדוק אם הבדיקה מורצת במכשיר שמארח Firebase. לשם כך, צריך לחפש את מאפיין המערכת firebase.test.lab בקובץ MainActivity. לאחר מכן, אפשר להריץ הצהרות נוספות על סמך הערך הבוליאני של testLabSetting. מידע נוסף זמין במאמר בנושא התנהגויות שונות של בדיקות.

האם Test Lab תומך ב-Appium,‏ Flutter/FlutterDriver,‏ ReactNative/Jest או Cucumber?

חלק מהפריטים האלה נמצאים בתוכנית הפיתוח שלנו, אבל כרגע אין לנו אפשרות להתחייב לתמיכה בפלטפורמות האלה לבדיקות ולפיתוח אפליקציות. עם זאת, אם יצרתם את האפליקציה באמצעות framework שתומכת ב-Espresso (לדוגמה, Flutter), אתם יכולים לכתוב בדיקת אינסטרומנטציה באמצעות Espresso ואז להריץ את הבדיקה ב-Test Lab.

האם Test Lab תומך בבדיקה של אפליקציות שעברו טשטוש, למשל באמצעות ProGuard או R8)?

‫Test Lab לא תומך באופן מפורש בהסתרת קוד או בהסרת הסתרה. סביר להניח שהאפליקציה תפעל, אבל כל נתוני אפליקציה שעברו טשטוש, כמו עקבות מחסנית, יופיעו ביומנים כנתונים שעברו טשטוש.

האם אפשר להשתמש במכשיר מתקפל במצבים שונים של קיפול ופריסה בזמן בדיקה ב-Test Lab?

כן! אפשר לבדוק את המכשיר המתקפל במצבים ותנוחות של מכשיר מתקפל.

מכשירים מתקפלים יכולים להיות במצבים שונים של קיפול, כמו FLAT (פתוח לגמרי) או HALF_OPENED (בין פתוח לגמרי לסגור לגמרי).

לעומת זאת, תנוחות מורכבות מאוריינטציה ספציפית של המכשיר וממצב של מכשיר מתקפל. לדוגמה, תנוחת שולחן, שהיא מצב HALF_OPENED באוריינטציה אופקית, או תנוחת ספר, שהיא מצב HALF_OPENED באוריינטציה אנכית.

אם אתם מריצים בדיקות של מכשירים, אתם יכולים להשתמש בספריית Jetpack WindowManager ולפעול לפי התיעוד בנושא בדיקת האפליקציה במכשירים מתקפלים כדי לבדוק מצבים ותנוחות שונים.

לחלופין, המצבים הזמינים הם ספציפיים למכשיר, ואפשר להשתמש ב-adb shell command cmd device_state כדי לבצע פעולות.

• כדי להציג את המצב הנוכחי, מריצים את הפקודה adb shell cmd device_state state.
• כדי להגדיר או לעקוף את המצב הנוכחי, מריצים את הפקודה adb shell cmd device_state state <IDENTIFIER>.
• כדי לאפס את המצב, מריצים את הפקודה adb shell cmd device_state state reset.
• כדי לבדוק את המצבים הזמינים, מריצים את הפקודה adb shell cmd device_state print-states במכשיר המתקפל.

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

Can I try out Test Lab if I don't have an app?

בשונה ממוצרים אחרים של Firebase, לא צריך להוסיף Firebase SDK כדי להשתמש ב-Test Lab. אם אין לכם אפליקציה, אתם יכולים להוריד קובץ APK באינטרנט או ליצור אפליקציה וקובץ APK לבדיקה מאחת הדוגמאות במאגר AndroidX GitHub. שימו לב: כדי להריץ בדיקת Robo, צריך רק את קובץ ה-APK של האפליקציה. כדי להריץ בדיקת אינסטרומנטציה, צריך גם את האפליקציה וגם קובץ APK של בדיקה שנבנו מקוד המקור. מידע נוסף זמין במאמר בנושא בדיקות עם מכשור.

מידע נוסף על התכונות של Test Lab זמין במאמר תחילת הבדיקה ב-Android באמצעות Firebase Test Lab.

באילו מכשירים הכי מומלץ להשתמש לבדיקת השוואה בין צילומי מסך?

בדיקות השוואה בין צילומי מסך מתבססות על השוואה בין תמונות מסך שמתקבלות במהלך הרצת בדיקה לבין תמונות זהב שמייצגות התנהגות צפויה. בדיקות כאלה עשויות להיות פחות יציבות בסוגים מסוימים של מכשירים בהשוואה לסוגים אחרים. אנחנו ממליצים לבצע את הבדיקות האלה במכשירי אמולטור של Arm ‏ (*.arm). מכשירי אמולטור של Arm משתמשים בתמונות שדומות מאוד לאמולטורים 'כלליים' של Android Studio, או זהות להם.

מומלץ גם לבדוק ספריות של בדיקות שיכולות לעזור להפוך את בדיקות צילומי המסך ליציבות יותר בנוכחות שינויים צפויים.

האם Test Lab מעדכן מכשירים וירטואליים?

כן! מכשירים וירטואליים מתעדכנים כשמתבצעים השינויים הבאים:

1. עדכונים בתמונות קיימות
2. הוצאה משימוש של רמות API קודמות
3. נוספות רמות חדשות של Android API

איך מפעילים דוחות כיסוי?

כדי להפעיל דוחות כיסוי, מוסיפים את coverage=true לשדה environmentVariables. אם אתם משתמשים בתזמור בדיקות ל-Android, תצטרכו לספק ספרייה לאחסון תוצאות הכיסוי:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

אם אתם לא משתמשים ב-Orchestrator, אתם יכולים לציין נתיב קובץ:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

איפה אפשר למצוא פרטים על המכשיר, כמו רזולוציה, ממשקי ABI נתמכים וכו'?

מידע מפורט על המכשיר זמין דרך ה-API, ואפשר לגשת אליו מלקוח gcloud באמצעות הפקודה describe:

gcloud firebase test android models describe MODEL

‫Captchas לכניסה

בדיקת Robo לא יכולה לעקוף מסכי כניסה שנדרשת בהם פעולה נוספת של המשתמש מעבר להזנת פרטי הכניסה, למשל השלמת CAPTCHA.

כניסה אוטומטית

אין תמיכה בכניסה אוטומטית באמצעות חשבון Google בבדיקות Robo ל-iOS+ (בטא).

תמיכה ב-framework של ממשק משתמש

הבדיקה באמצעות Robo פועלת בצורה הכי טובה עם אפליקציות שמשתמשות ברכיבי ממשק משתמש מתוך מסגרת ממשק המשתמש של Android (כולל אובייקטים מסוג View,‏ ViewGroup ו-WebView). אם אתם משתמשים בבדיקת Robo כדי לבדוק אפליקציות שמשתמשות במסגרות אחרות של ממשק משתמש, כולל אפליקציות שמשתמשות במנוע המשחק Unity, יכול להיות שהבדיקה תסתיים בלי לבדוק מעבר למסך הראשון.