סוכן של App Testing (ל-Android)

הסוכן לבדיקת אפליקציות הוא סוכן ליצירה, לניהול ולביצוע של תרחישי בדיקה שמבוסס על Gemini ב-Firebase. אתם מגדירים את יעדי הבדיקה בשפה טבעית, והסוכן משתמש ב-AI כדי להבין את האפליקציה ולנווט בה, לדמות אינטראקציות של משתמשים ולספק תוצאות בדיקה מפורטות.

איך סוכן בדיקת האפליקציות משתמש בנתונים שלכם

סוכן בדיקת האפליקציות מסופק על ידי Gemini ב-Firebase והוא כפוף לאותם תנאים. במאמר איך Gemini ב-Firebase משתמש בנתונים שלכם מוסבר איך Gemini ב-Firebase משתמש בנתונים שלכם.

לפני שמתחילים

אם עדיין לא עשיתם זאת, עליכם לרשום את האפליקציה ב-Firebase.

אם אתם לא משתמשים במוצרים אחרים של Firebase, אתם צריכים רק ליצור פרויקט ולרשום את האפליקציה. אתם לא צריכים להוסיף ערכות SDK לאפליקציה. עם זאת, אם תחליטו להשתמש במוצרים נוספים בעתיד, הקפידו לבצע את כל השלבים במאמר הוספת Firebase באמצעות מסוף Firebase.

כשמוכנים להפיץ גרסה טרום-השקה של האפליקציה לבודקים, צריך ליצור את ה-APK או ה-AAB בתהליך הרגיל ולהעלות אותו ל-App Distribution במסוף Firebase. צריך לחתום על ה-APK באמצעות מפתח ניפוי הבאגים או מפתח חתימת האפליקציה.

יצירת תרחיש בדיקה

כדי להריץ בדיקות מבוססות-AI, סוכן בדיקת האפליקציות משתמש בתרחישי הבדיקה בשפה טבעית כדי לבצע בדיקות באפליקציה.

כל מקרה בדיקה מחולק לשלבים, שיבוצעו ברצף. השלבים מאפשרים לכם לחלק את תרחיש הבדיקה לשלבים, שלכל אחד מהם יש קריטריונים משלו להצלחה. הסוכן יכול לבצע הרבה פעולות במהלך כל שלב.

כדי ליצור תרחיש בדיקה, פותחים את App Distribution הדף של Firebase המסוף ופועלים לפי השלבים הבאים:

בכרטיסייה Test Cases (תרחישי בדיקה), לוחצים על New test case (תרחיש בדיקה חדש). אם אתם לא רוצים ליצור תרחיש בדיקה משלכם, אתם יכולים לשנות את תרחיש הבדיקה לדוגמה שסיפקנו או להשתמש בו.
בתיבת הדו-שיח הוספת תרחיש בדיקה, נותנים שם לתרחיש הבדיקה. הערך הזה משמש לזיהוי הבדיקה, אבל הסוכן מתעלם ממנו.
(אופציונלי) בוחרים מקרה בדיקה של דרישה מוקדמת שמכיל שלבי הגדרה להרצה לפני הבדיקה הראשית. אם בדיקת הדרישות המוקדמות נכשלת, כל הבדיקה מסומנת ככישלון. השלבים והתוצאות של הבדיקות המקדימות והבדיקות העיקריות יוצגו יחד בתוצאות הבדיקה.
כדאי לפצל את הבדיקה לכמה שלבים. לשם כך, לוחצים על הלחצן הוספת שלב נוסף.
בכל שלב צריך להגדיר מטרה שמתארת מה סוכן בדיקת האפליקציה צריך לעשות במהלך השלב הזה.
(אופציונלי) מוסיפים הערה כדי לספק מידע נוסף שיעזור לסוכן לבדיקת האפליקציה להבין את האפליקציה ולנווט בה במהלך השלב הזה.
מוסיפים Final screen assertion כדי לעזור לסוכן לבדיקת האפליקציה לקבוע מתי השלב הושלם בהצלחה. הטענה הזו צריכה להתייחס רק למה שמוצג במסך.
כשמסיימים להתאים אישית את הבדיקה, לוחצים על שמירה.

מקרה בדיקה לדוגמה

הדוגמה הבאה ממחישה איך ליצור תרחיש בדיקה באמצעות סוכן בדיקת האפליקציות:

בדיקת דף הבית
כותרת הבדיקה	טעינות דף הבית
מטרה	טעינת דף הבית
רמז	מדלגים על מסכי ההצטרפות. סוגרים את כל החלונות הקופצים. לא נכנסים לחשבון.
קריטריונים להצלחה	מסך הבית הראשי של האפליקציה גלוי, כל התמונות נטענו ולא מוצגות שגיאות.

הרצת בדיקה

הסוכן App Testing מאפשר לכם להריץ בדיקות מבוססות-AI ב-Play Console בלחיצה על הלחצן הפעלת בדיקות בדף 'גרסאות' או בדף 'תרחישי בדיקה'. ייפתח מסך ההתאמה האישית של סוכן בדיקת האפליקציות, שבו תוכלו לבחור תרחיש בדיקה קיים אחד או יותר שהסוכן יבצע. אפשר גם לבחור את המכשירים שרוצים לבדוק את האפליקציה בהם, ואם לספק פרטי כניסה.

אם הרצת הבדיקה מצליחה, סוכן בדיקת האפליקציה ישמור במטמון את הפעולות שבוצעו בכל מכשיר. אפשר להפעיל מחדש את הפעולות האלה במהלך הרצות בדיקה עתידיות כדי לשפר את יכולת השחזור של הבדיקה. כשמשתמשים בפעולות שמופעלות מחדש, הסוכן עדיין משתמש ב-AI כדי לוודא שהפעולות הצליחו, באמצעות כל טענה לגבי מסך סופי שהגדרתם. אם בדיקה נכשלת כשמשתמשים בפעולות שהופעלו מחדש, סוכן בדיקת האפליקציה יחזור להשתמש ב-AI לכל הפעולות.

אפשר גם לבחור להריץ בדיקת סריקה אקראית על ידי שינוי סוג הבדיקה. בדיקות סריקה אקראיות מתבצעות באמצעות התכונה Automated Tester.

בדיקה אוטומטית של גרסאות ה-build

כדי להריץ אוטומטית בדיקות של סוכן App Testing בגרסאות build חדשות, למשל מצינורות עיבוד נתונים של CI/CD, אפשר להפיץ את הגרסאות לסוכן באמצעות התוספים Gradle או fastlane של App Distribution, או באמצעות Firebase CLI.

בדיקה אוטומטית של גרסאות build באמצעות Firebase CLI

כדי להשתמש בתכונה App Testing Agent, צריך לציין לפחות מכשיר בדיקה אחד ומזהה של תרחיש בדיקה אחד. אפשר למצוא ולהוריד את מזהי תרחישי הבדיקה בדף Test Cases (תרחישי בדיקה) בFirebaseמסוף. מידע נוסף על תחילת העבודה עם Firebase CLI ועל דרכים שונות להגדרת ההפצה זמין במאמר הפצת אפליקציות ל-Android לבודקים באמצעות Firebase CLI.

מריצים את הפקודה appdistribution:distribute כדי להעלות את האפליקציה, ומשתמשים בפרמטרים הבאים כדי להגדיר את ההפצה לתכונה App Testing agent:

appdistribution:distribute options
‫`--test-devices` או `--test-devices-file`	מכשירי הבדיקה שרוצים להפיץ אליהם את ה-builds של התכונה App Testing agent. אפשר לציין את המכשירים לבדיקה כרשימה של מכשירים לבדיקה שמופרדים באמצעות נקודה-ופסיק: `--test-devices "model=tokay,version=36,locale=en,orientation=portrait;model=b0q,version=33,locale=en,orientation=portrait"` אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל רשימה של מכשירי בדיקה שמופרדים באמצעות נקודה-פסיק: `--test-devices-file "/path/to/test-devices.txt"` אפשר לחפש את הדגמים הזמינים של המכשירים באמצעות gcloud CLI.
`--test-username`	שם המשתמש לכניסה אוטומטית שבו יש להשתמש במהלך הבדיקות.
‫`--test-password` או `--test-password-file`	הסיסמה לכניסה אוטומטית שבה יש להשתמש במהלך הבדיקות. אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל סיסמה: `--test-password-file "/path/to/test-password.txt"`
`--test-non-blocking`	הרצת בדיקות באופן אסינכרוני. תוצאות הבדיקה האוטומטית זמינות במסוף Firebase.
‫`--test-case-ids` או `--test-case-ids-file`	רשימה מופרדת בפסיקים של מזהי תרחישי בדיקה להרצת בדיקות אוטומטיות מבוססות-AI: `--test-case-ids "load-app,play-the-first-level"` אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל רשימה של מזהי תרחישי בדיקה שמופרדים בפסיקים או בשורות חדשות: `--test-case-ids-file "/path/to/test-case-ids.txt"`

בדיקה אוטומטית של גרסאות ה-build באמצעות Gradle

כדי להשתמש בתכונה App Testing Agent, צריך לציין לפחות מכשיר בדיקה אחד ומזהה של תרחיש בדיקה אחד. אפשר למצוא ולהוריד את מזהי תרחישי הבדיקה בדף Test Cases (תרחישי בדיקה) בFirebaseמסוף. מידע נוסף על תחילת העבודה עם Gradle ועל דרכים שונות להגדרת ההפצה זמין במאמר הפצת אפליקציות ל-Android לבודקים באמצעות Gradle.

כדי להגדיר את App Distribution, צריך להוסיף לפחות firebaseAppDistribution קטע אחד ולהשתמש בפרמטרים הבאים כדי להגדיר את ההפצה לתכונה App Testing agent:

App Distribution פרמטרים של Build
‫`testDevices` או `testDevicesFile`	מכשירי הבדיקה שרוצים להפיץ אליהם את ה-builds של התכונה App Testing agent. אפשר לציין את מכשירי הבדיקה כרשימה של מפרטי מכשירים שמופרדים באמצעות נקודה-ופסיק. `testDevices="model=tokay, version=36, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"` אפשר גם לציין את הנתיב לקובץ שמכיל רשימה של מפרטי מכשירים שמופרדים באמצעות נקודה-פסיק: `testDevicesFile="/path/to/testDevices.txt"` אפשר לחפש את הדגמים הזמינים של המכשירים באמצעות gcloud CLI.
`testUsername`	שם המשתמש לכניסה אוטומטית שבו יש להשתמש במהלך הבדיקות.
‫`testPassword` או `testPasswordFile`	הסיסמה לכניסה אוטומטית שבה יש להשתמש במהלך הבדיקות. אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל סיסמה: testPasswordFile="/path/to/testPassword.txt"
`testNonBlocking`	הרצת בדיקות באופן אסינכרוני. תוצאות הבדיקה האוטומטית מופיעות במסוף Firebase.
`testCases` או `testCasesFile`	רשימה מופרדת בפסיקים של מזהי תרחישי בדיקה להרצת בדיקות אוטומטיות מבוססות-AI: `testCases: "load-app,play-the-first-level"` אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל רשימה של מזהי תרחישי בדיקה שמופרדים בפסיקים או בשורות חדשות: `testCasesFile: "/path/to/test-case-ids.txt"`

בדיקה אוטומטית של גרסאות build באמצעות fastlane

כדי להשתמש בתכונה App Testing Agent, צריך לציין לפחות מכשיר בדיקה אחד ומזהה של תרחיש בדיקה אחד. אפשר למצוא ולהוריד את מזהי תרחישי הבדיקה בדף Test Cases (תרחישי בדיקה) בFirebaseמסוף. מידע נוסף על תחילת העבודה עם fastlane ועל דרכים שונות להגדרת ההפצה זמין במאמר הפצת אפליקציות ל-Android לבודקים באמצעות fastlane.

ב./fastlane/Fastfile נתיב, מוסיפים בלוק firebase_app_distribution. כדי להגדיר את ההפצה לתכונה App Testing agent, משתמשים בפרמטרים הבאים:

פרמטרים של הפצת אפליקציות ב-Firebase
‫`test_devices` או `test_devices_file`	מכשירי הבדיקה שרוצים להפיץ אליהם את ה-builds של התכונה App Testing agent. אפשר לציין את המכשירים לבדיקה כרשימה של מכשירים לבדיקה שמופרדים באמצעות נקודה-ופסיק: `test_devices: "model=tokay, version=36, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"` אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל רשימה של מכשירי בדיקה שמופרדים באמצעות נקודה-פסיק: `test_devices_file: "/path/to/test-devices.txt"` אפשר לחפש את הדגמים הזמינים של המכשירים באמצעות gcloud CLI.
`test_username`	שם המשתמש לכניסה אוטומטית שבו יש להשתמש במהלך הבדיקות.
‫`test_password` או `test_password_file`	הסיסמה לכניסה אוטומטית שבה יש להשתמש במהלך הבדיקות. אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל סיסמה: `test_password_file: "/path/to/test-password.txt"`
`test_non_blocking`	הרצת בדיקות באופן אסינכרוני. תוצאות הבדיקה האוטומטית זמינות במסוף Firebase.
‫`test_case_ids` או `test_case_ids_file`	רשימה מופרדת בפסיקים של מזהי תרחישי בדיקה להרצת בדיקות אוטומטיות מבוססות-AI: `test_case_ids: "load-app,play-the-first-level"` אפשר גם לציין את הנתיב לקובץ טקסט פשוט שמכיל רשימה של מזהי תרחישי בדיקה שמופרדים בפסיקים או בשורות חדשות: `test_case_ids_file: "/path/to/test-case-ids.txt"`

ייבוא וייצוא של תרחישי בדיקה באמצעות קובצי YAML

ייבוא של תרחישי בדיקה מקובצי YAML שימושי כשרוצים לנהל תרחישי בדיקה מחוץ למסוף Firebase. אפשר גם לייצא תרחישי בדיקה כדי להעביר אותם בין פרויקטים. אתם יכולים להשתמש במודל שפה גדול כדי לשפר תרחישי בדיקה קיימים או ליצור תרחישי בדיקה חדשים. אפשר לייבא ולייצא תרחישי בדיקה מהדף Test Cases (תרחישי בדיקה) במסוף Firebase או באופן פרוגרמטי באמצעות Firebase CLI. דוגמה:

- displayName: Setup
  id: setup
  steps:
    - goal: Log in
      hint: Any username and password will work
- displayName: Smoke test
  id: smoke_test
  prerequisiteTestCaseId: setup
  steps:
    - goal: Go through the onboarding flow
      hint: Tap the next button until you reach the home screen
      successCriteria: The main app home page is visible
    - goal: Open the settings page
      hint: The settings button is in the top right corner
      successCriteria: The settings page is visible

צפייה בתוצאות הבדיקה

אפשר לראות את תוצאות הבדיקות בדף הפצות בכרטיסייה סוכן בדיקת האפליקציה של הפצה. בלחיצה על הלחצן הצגת הפרטים תיפתח תיבת הדו-שיח 'תוצאות הבדיקה', שבה יוצגו בעיות, צילומי מסך של האפליקציה והפעולות ש-Gemini ביצע במהלך הבדיקה.

אם הבדיקה כוללת פעולות שהופעלו מחדש, אפשר לראות את ההרצה המקורית של הבדיקה בהנחיית AI או לנקות את מטמון.

כדי לקבל מידע נוסף על תוצאות הבדיקה, אפשר להיעזר בטבלה הבאה:

סמל	שם	תיאור
spark	פעולת AI	מציין שהסוכן של בדיקת האפליקציה השתמש ב-Gemini כדי להחליט לבצע פעולה או לסיים את השלב.
השמעה חוזרת	הפעולה הופעלה מחדש	הערך הזה מציין שהסוכן של בדיקת האפליקציה הפעיל מחדש פעולה מהרצה קודמת מוצלחת של הבדיקה.
spark	הצהרת AI	מציין שהסוכן של App Testing השתמש ב-Gemini כדי לאמת טענה לגבי מסך סופי, אחרי הפעלה חוזרת של פעולות מהרצה קודמת מוצלחת של אותו מבחן.

ניפוי באגים בתוצאות הבדיקה

אם תוצאות הבדיקה שונות מהצפוי, אפשר לנפות באגים בבדיקה באמצעות המתג הצגת תצוגת הסוכן בקטע הצגת פרטים בדף תוצאות הבדיקה. בתצוגת הנציג מוצגים הרכיבים במסך שהסוכן לבדיקת אפליקציות הצליח לזהות באמצעות פרטי הנגישות של האפליקציה. אם רוצים לבדוק לעומק את מה שהסוכן ראה, אפשר להוריד את המידע הזה מתפריט האפשרויות הנוספות.

אפשר גם להשתמש בכפתור הצגת ארטיפקטים בדף תוצאות הבדיקה כדי לראות את כל הסרטונים, היומנים וארטיפקטים אחרים ב-Cloud שקשורים לתוצאות הבדיקה.

בעיות ידועות ומגבלות

יש כמה מגבלות ידועות בגרסת הטרום-השקה של סוכן בדיקת האפליקציות:

הסוכן של בדיקת האפליקציות משתמש ב-AI גנרטיבי כדי לבדוק את האפליקציה, ולכן לפעמים הוא יבצע פעולות שונות למרות שהוא פועל לפי אותן הוראות.
הסוכן של App Testing תומך רק בפעולות הבאות: הקשה, הזנת טקסט, החלקה למעלה/למטה/ימינה/שמאלה, לחיצה ארוכה, גרירה ושחרור, חזרה והמתנה.
לסוכן App Testing יש בעיה בהרצת בדיקות שמכילות רק שלב אחד שנדרשות בו הרבה פעולות. הוא מניב תוצאות טובות יותר כשמפרקים משימות מורכבות לכמה שלבים קצרים יותר.
לפעמים, סוכן בדיקת האפליקציות לא יגלול כדי לחשוף אלמנטים אחרים שנמצאים מחוץ למסך. המצב הזה קורה לעיתים קרובות יותר כשאין אינדיקציה ויזואלית לכך שאפשר לגלול. כפתרון זמני, אפשר להשתמש בשדה 'רמזים' כדי להציע גלילה.
לפעמים לסוכן לבדיקת אפליקציות יש בעיה בספירה, למשל בביצוע פעולה מספר מסוים של פעמים.
אם האפשרות FLAG_SECURE מופעלת, סוכן בדיקת האפליקציה לא יכול לנווט באפליקציה. במקום צילומי מסך של האפליקציה, הוא יראה רק מסך ריק.

בדיקת מכסות

במהלך תקופת התצוגה המקדימה, הבדיקות המבוססות על AI יוצעו ללא עלות במסגרת מכסת שימוש מוגבלת. מגבלת ברירת המחדל היא 200 בדיקות בחודש לכל פרויקט ב-Firebase.

שימו לב: אם תבחרו להריץ כמה תרחישי בדיקה או להריץ את אותו תרחיש בדיקה בכמה מכשירים, זה ייחשב לכמה בדיקות. לדוגמה, אם מריצים 2 תרחישי בדיקה ב-2 מכשירים, זה נחשב כ-4 בדיקות בסך הכול.

כדי להגדיל את המכסה מעבר למגבלת ברירת המחדל, צריך לפנות אל התמיכה של Firebase ולציין את תרחיש השימוש.