בדיקה באמצעות Google Cloud CLI

במדריך הזה מוסבר איך להריץ בדיקת XCTest או בדיקת Game Loop באמצעות ה-CLI של gcloud.

שלב 1: מגדירים את סביבת Google Cloud SDK המקומית

1. מורידים את Google Cloud SDK.

אחד מהכלים האלה הוא ה-CLI של gcloud.

2. מוודאים שההתקנה מעודכנת וכוללת את הפקודה gcloud firebase:

         gcloud components update

3. מתחברים ל-CLI של gcloud באמצעות חשבון Google:

         gcloud auth login

4. מגדירים את פרויקט Firebase ב-gcloud, כאשר PROJECT_ID הוא מזהה הפרויקט ב-Firebase:

        gcloud config set project PROJECT_ID

שלב 2: מריצים את הבדיקה

הרצת XCTest

1. מעלים את קובץ ה-ZIP של הבדיקה באמצעות הפקודה הבאה (אם עדיין לא ארזתם את האפליקציה, עיינו בקטע אריזת ה-XCTest):

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. בוחרים את המאפיינים של הבדיקה.

   בעזרת Test Lab אפשר להריץ בדיקות במגוון גרסאות iOS, מכשירים, כיווני מסך ומיקומים גיאוגרפיים. ההגדרות האלה נקראות מאפייני הבדיקה. כדי לראות את האפשרויות לכל מאפיין (למשל, גרסאות Xcode שנתמכות בגרסת ה-iOS של המכשיר), מחליפים את dimension ב-models, ב-versions או ב-locales בפקודה הבאה:

   gcloud firebase test ios dimension list

   כיוון המסך הוא קצת יותר פשוט, כי האפשרויות היחידות שלו הן portrait ו-landscape.

   עוברים על רשימת מאפייני הבדיקה ובוחרים כמה שילובים שרוצים להריץ עליהם את הבדיקה. בקטע תוכניות תמחור אפשר לראות את המספר המקסימלי של שילובים שאפשר להריץ ביום.

3. אחרי שבוחרים קבוצה של מאפייני בדיקה, אפשר להריץ את הבדיקות ב-Test Lab באמצעות הפקודה firebase test ios run. לכל שילוב של מאפייני בדיקה שרוצים לבדוק, צריך לכלול דגל --device נפרד:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   יכול להיות שהבדיקה תיכשל בגלל חוסר תאימות בין גרסת Xcode שבה הבדיקה נוצרה לבין גרסת Xcode שמוגדרת כברירת מחדל ב-Test Lab. כדי לציין גרסת Xcode נתמכת לבדיקה, משתמשים בדגל --xcode-version:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   כדי לזהות ולאתר את מטריצות הבדיקה במסוף Firebase, אפשר לתייג את מטריצת הבדיקה באמצעות הדגל --client-details matrixLabel="<label>" בדוגמה הבאה:

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

הרצת בדיקת Game Loop

מריצים את הפקודה gcloud beta firebase test ios run ומשתמשים בדגלים הבאים כדי להגדיר את ההרצה:

לדוגמה, הפקודה הבאה מריצה בדיקת Game Loop שמפעילה את הלולאות 1, 4, 6, 7 ו-8 ב-iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

מידע נוסף על ה-CLI של gcloud מופיע במאמרי העזרה.

שלב 3 (אופציונלי): הפיכת בדיקות עתידיות לאוטומטיות

כתיבת סקריפטים של פקודות gcloud באמצעות Test Lab

אתם יכולים להשתמש בסקריפטים של מעטפת או בקובצי אצווה כדי להפוך פקודות לבדיקת אפליקציות לנייד לאוטומטיות, שבמצב אחר הייתם מריצים באמצעות שורת הפקודה של gcloud. סקריפט ה-bash לדוגמה מריץ XCTest עם זמן קצוב של שתי דקות, ומדווח אם הרצת הבדיקה הושלמה בהצלחה:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

קודי יציאה של סקריפטים

‫Test Lab מספק כמה קודי יציאה שאתם יכולים להשתמש בהם כדי להבין טוב יותר את תוצאות הבדיקות שאתם מריצים באמצעות סקריפטים או קובצי אצווה.

שלב 4: בודקים את תוצאות הבדיקה

כשהבדיקה מתחילה, אתם מקבלים קישור לדף תוצאות הבדיקה. הבדיקות יכולות להימשך כמה דקות, בהתאם למספר ההגדרות השונות שבחרתם ולמשך הזמן הקצוב שהגדרתם לבדיקות. אחרי שהבדיקות יסתיימו, תוכלו לעיין בתוצאות שלהן. במאמר ניתוח תוצאות של Firebase Test Lab מוסבר איך לפרש את תוצאות הבדיקה.

השלב הבא

במסמכי התיעוד של Google Cloud SDK תוכלו לקרוא על אפשרויות הבדיקה שזמינות לכלל המשתמשים או בגרסת בטא.