Kiểm thử bằng Google Cloud CLI

Hướng dẫn này mô tả cách chạy XCTest hoặc kiểm thử Vòng lặp trò chơi bằng cách sử dụng CLI gcloud.

Bước 1: Định cấu hình môi trường SDK Google Cloud cục bộ

1. Tải Google Cloud SDK xuống

Trong đó có công cụ dòng lệnh gcloud.

2. Đảm bảo rằng quá trình cài đặt của bạn đã cập nhật và bao gồm lệnh gcloud firebase:

         gcloud components update

3. Đăng nhập vào CLI gcloud bằng Tài khoản Google của bạn:

         gcloud auth login

4. Thiết lập dự án Firebase trong gcloud, trong đó PROJECT_ID là mã nhận dạng của dự án Firebase:

        gcloud config set project PROJECT_ID

Bước 2: Chạy kiểm thử

Chạy XCTest

1. Tải tệp .zip của kiểm thử lên bằng cách chạy lệnh sau (nếu bạn chưa đóng gói ứng dụng, hãy xem phần Đóng gói XCTest):

   cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
   zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun

2. Chọn phương diện thử nghiệm.

   Test Lab cho phép bạn chạy kiểm thử trên nhiều phiên bản iOS, thiết bị, hướng màn hình và ngôn ngữ. Các cấu hình này được gọi là phương diện kiểm thử của kiểm thử. Để xem các tuỳ chọn cho từng phương diện (ví dụ: các phiên bản Xcode được hỗ trợ cho phiên bản iOS của thiết bị), hãy thay thế models, versions hoặc locales cho dimension trong lệnh sau:

   gcloud firebase test ios dimension list

   Hướng màn hình đơn giản hơn một chút vì chỉ có các tuỳ chọn là portrait và landscape.

   Xem danh sách phương diện thử nghiệm rồi chọn một vài tổ hợp mà bạn muốn chạy thử nghiệm. Truy cập vào phần Gói giá để xem số lượng kết hợp tối đa mà bạn có thể chạy mỗi ngày.

3. Sau khi chọn một nhóm phương diện kiểm thử, bạn có thể yêu cầu Test Lab chạy các chương trình kiểm thử bằng lệnh firebase test ios run. Đối với mỗi tổ hợp phương diện kiểm thử mà bạn muốn kiểm thử, hãy thêm một cờ --device riêng biệt:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
    etc...

   Có thể kiểm thử của bạn sẽ không thành công do sự không tương thích giữa phiên bản Xcode mà kiểm thử được tạo và phiên bản Xcode mặc định mà Test Lab sử dụng. Để chỉ định phiên bản Xcode được hỗ trợ cho kiểm thử, hãy sử dụng cờ --xcode-version:

   gcloud firebase test ios run --test PATH/TO/MyTests.zip \
    --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
    --xcode-version=15

   Để giúp bạn xác định và định vị các ma trận kiểm thử trong bảng điều khiển Firebase, bạn có thể gắn nhãn cho ma trận kiểm thử bằng cách sử dụng cờ --client-details matrixLabel="<label>" trong ví dụ sau:

   gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --client-details matrixLabel="my label"

Chạy kiểm thử Vòng lặp trò chơi

Chạy lệnh gcloud beta firebase test ios run và sử dụng các cờ sau để định cấu hình quá trình chạy:

Cờ cho kiểm thử Vòng lặp trò chơi
--type	Bắt buộc: Chỉ định loại kiểm thử iOS mà bạn muốn chạy. Bạn có thể nhập loại kiểm thử xctest (mặc định) hoặc game-loop.
--app	Bắt buộc: Đường dẫn tuyệt đối (GCS hoặc hệ thống tệp) đến tệp IPA của ứng dụng. Cờ này chỉ hợp lệ khi chạy kiểm thử Vòng lặp trò chơi.
--scenario-numbers	Các vòng lặp (còn gọi là tình huống) mà bạn muốn chạy trong ứng dụng. Bạn có thể nhập một vòng lặp, danh sách vòng lặp hoặc một dải vòng lặp. Vòng lặp mặc định là 1. Ví dụ: --scenario-numbers=1-3,5 chạy các vòng lặp 1, 2, 3 và 5.
--device-model	Thiết bị thực tế mà bạn muốn chạy kiểm thử (tìm hiểu xem bạn có thể sử dụng thiết bị nào).
--timeout	Thời lượng tối đa bạn muốn chạy kiểm thử. Bạn có thể nhập một số nguyên để biểu thị thời lượng tính bằng giây hoặc một số nguyên và enum để biểu thị thời lượng dưới dạng một đơn vị thời gian dài hơn. Ví dụ: --timeout=200 buộc kiểm thử của bạn chấm dứt khi chạy đến 200 giây. --timeout=1h buộc kiểm thử của bạn chấm dứt khi chạy đến một giờ.

Ví dụ: lệnh sau đây chạy kiểm thử Vòng lặp trò chơi thực thi các vòng lặp 1, 4, 6, 7 và 8 trên iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Để biết thêm thông tin về CLI gcloud, hãy xem tài liệu tham khảo.

Bước 3 (Không bắt buộc): Tự động hoá các chương trình kiểm thử mà bạn tạo trong tương lai

Viết tập lệnh cho các lệnh gcloud bằng Test Lab

Bạn có thể sử dụng tập lệnh shell hoặc tệp hàng loạt để tự động hoá các lệnh kiểm thử ứng dụng di động mà bạn sẽ chạy bằng dòng lệnh gcloud. Tập lệnh bash mẫu này chạy một XCTest với thời gian chờ là 2 phút và báo cáo nếu quá trình chạy kiểm thử hoàn tất thành công:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Mã thoát của tập lệnh

Test Lab cung cấp một số mã thoát mà bạn có thể sử dụng để hiểu rõ hơn về kết quả kiểm thử mà bạn chạy bằng tập lệnh hoặc tệp hàng loạt.

Mã thoát	Lưu ý
0	Tất cả các lần thực thi kiểm thử đều đạt.
1	Đã xảy ra lỗi chung. Một số nguyên nhân có thể là: tên tệp không tồn tại hoặc lỗi HTTP/mạng.
2	Quá trình kiểm thử đã thoát do cung cấp các lệnh hoặc đối số không xác định.
10	Một hoặc nhiều trường hợp kiểm thử (các lớp hoặc phương thức lớp đã kiểm thử) trong quá trình thực thi kiểm thử không đạt.
15	Firebase Test Lab không thể xác định xem ma trận kiểm thử đã vượt qua hay không thành công do một lỗi ngoài dự kiến.
19	Người dùng đã huỷ ma trận kiểm thử.
20	Đã xảy ra lỗi cơ sở hạ tầng kiểm thử.

Bước 4: Điều tra kết quả kiểm thử

Khi quá trình kiểm thử bắt đầu, bạn sẽ nhận được đường liên kết đến trang Kết quả kiểm thử. Quá trình kiểm thử có thể mất vài phút để chạy, tuỳ thuộc vào số lượng cấu hình khác nhau mà bạn đã chọn và thời gian chờ kiểm thử được đặt cho các kiểm thử. Sau khi chạy kiểm thử, bạn có thể xem lại kết quả kiểm thử. Hãy xem phần Phân tích kết quả Firebase Test Lab để tìm hiểu thêm về cách diễn giải kết quả kiểm thử.

Bước tiếp theo

Đọc tài liệu về SDK Google Cloud để khám phá các tuỳ chọn kiểm thử đã phát hành công khai hoặc đang ở giai đoạn thử nghiệm.