Kiểm tra với Google Cloud CLI

Hướng dẫn này mô tả cách chạy thử nghiệm XCTest hoặc Game Loop bằng gcloud CLI.

Bước 1 : Định cấu hình môi trường Google Cloud SDK cục bộ của bạn

  1. Tải xuống Google Cloud SDK
  2. Điều này bao gồm công cụ gcloud CLI.

  3. Đảm bảo cài đặt của bạn được cập nhật và bao gồm lệnh gcloud firebase :
          gcloud components update
  4. Đăng nhập vào gcloud CLI bằng tài khoản Google của bạn:
          gcloud auth login
  5. Đặt dự án Firebase của bạn trong gcloud, trong đó PROJECT_ID là ID của dự án Firebase của bạn:
         gcloud config set project PROJECT_ID

Bước 2 : Chạy thử nghiệm của bạn

Chạy XCTest

  1. Tải tệp .zip của bài kiểm tra lên bằng cách chạy lệnh sau (nếu bạn chưa đóng gói ứng dụng của mình, hãy xem Đóng gói XCTest của bạn ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Chọn kích thước thử nghiệm của bạn.

    Test Lab cho phép bạn chạy thử nghiệm trên nhiều phiên bản, thiết bị, hướng màn hình và ngôn ngữ iOS khác nhau. Những cấu hình này được gọi là kích thước thử nghiệm của thử nghiệm. Để xem các tùy chọn cho từng thứ nguyên (ví dụ: các phiên bản Xcode được hỗ trợ cho phiên bản iOS của thiết bị), hãy thay thế models , versions hoặc locales cho dimension trong lệnh sau:

    gcloud firebase test ios dimension list

    Hướng màn hình có phần đơn giản hơn vì các tùy chọn duy nhất của nó là portraitlandscape .

    Xem qua danh sách các thứ nguyên thử nghiệm và chọn một vài kết hợp mà bạn muốn chạy thử nghiệm của mình. Truy cập Gói giá để xem số lượng kết hợp tối đa bạn có thể chạy mỗi ngày.

  3. Sau khi đã chọn một bộ kích thước thử nghiệm, bạn có thể yêu cầu Test Lab chạy thử nghiệm bằng lệnh firebase test ios run . Đối với mỗi kết hợp thứ nguyên thử nghiệm mà bạn muốn thử nghiệm, hãy bao gồm một cờ --device riêng biệt:

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Có thể thử nghiệm của bạn sẽ thất bại do không tương thích giữa phiên bản Xcode mà thử nghiệm được xây dựng và phiên bản Xcode mặc định được Test Lab sử dụng. Để chỉ định phiên bản Xcode được hỗ trợ cho thử nghiệm của bạn, hãy sử dụng cờ --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=15

    Để giúp bạn xác định và định vị các ma trận thử nghiệm trong bảng điều khiển Firebase, bạn có thể tùy ý gắn nhãn ma trận thử nghiệm bằng cách sử dụng cờ --client-details matrixLabel="<label>" trong ví dụ sau:

    gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
      --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
      --client-details matrixLabel="my label"

Kiểm tra các quyền lợi đặc biệt

Để kiểm tra các quyền yêu cầu ID ứng dụng rõ ràng, bạn có thể làm như vậy bằng cách đặt cờ --test-special-entitlements . Test Lab ký lại ứng dụng bằng mã định danh gói mới để hỗ trợ các quyền đặc biệt, vì vậy hãy đảm bảo không có tài nguyên nào trong tệp zip của bạn chứa tham chiếu trực tiếp đến mã định danh gói của ứng dụng.

Quyền được hỗ trợ:
  1. Thông báo đẩy apns-environment
  2. VPN cá nhân com.apple.developer.networking.vpn.api
Thông báo đẩy

Để ủy quyền các yêu cầu thông báo đẩy, người dùng có thể tạo mã thông báo web JSON bằng cách sử dụng khóa ký riêng cùng với ID khóa - C7FD9DJAA8 và ID nhóm - 9CKCGNNUQN . Mã thông báo được tạo sẽ có hiệu lực trong một giờ và cần được làm mới sau mỗi 60 phút. Đọc thêm về Thiết lập kết nối dựa trên mã thông báo với APN.

Nhóm ứng dụng

ID nhóm ứng dụng là duy nhất trên toàn cầu. Điều này có nghĩa là khi chúng tôi ký lại ứng dụng của người dùng, chúng tôi chỉ có thể sử dụng ID nhóm ứng dụng được liên kết với tài khoản nhà phát triển Test Lab. Nếu thử nghiệm của bạn dựa vào nhóm ứng dụng thì thử nghiệm của bạn sẽ thất bại.

Chạy thử nghiệm Vòng lặp trò chơi

Chạy lệnh gcloud beta firebase test ios run và sử dụng các cờ sau để định cấu hình quá trình chạy:

Cờ cho các bài kiểm tra Vòng lặp trò chơi
--type

Bắt buộc : Chỉ định loại thử nghiệm iOS bạn muốn chạy. Bạn có thể nhập các loại thử nghiệm xctest (mặc định) hoặc game-loop .

--app

Bắt buộc : Đường dẫn tuyệt đối (GCS hoặc hệ thống tệp) tới tệp IPA của ứng dụng của bạn. Cờ này chỉ hợp lệ khi chạy thử nghiệm Vòng lặp trò chơi.

--scenario-numbers

Các vòng lặp (còn gọi là kịch bản) bạn muốn chạy trong ứng dụng của mình. Bạn có thể nhập một vòng lặp, một danh sách hoặc các vòng lặp hoặc một phạm vi vòng lặp. Vòng lặp mặc định là 1.

Ví dụ: --scenario-numbers=1-3,5 chạy các vòng 1, 2, 3 và 5.

--device-model

Thiết bị vật lý mà bạn muốn chạy thử nghiệm trên đó (tìm hiểu xem bạn có thể sử dụng thiết bị nào có sẵn ).

--timeout

Thời lượng tối đa bạn muốn chạy thử nghiệm. Bạn có thể nhập một số nguyên để biểu thị thời lượng tính bằng giây hoặc một số nguyên và bảng liệt kê để biểu thị thời lượng dưới dạng đơn vị thời gian dài hơn.

Ví dụ:

  • --timeout=200 buộc bài kiểm tra của bạn kết thúc khi nó chạy tối đa 200 giây.
  • --timeout=1h buộc bài kiểm tra của bạn kết thúc khi nó chạy được tối đa một giờ.

Ví dụ: lệnh sau chạy thử nghiệm Vòng lặp trò chơi để thực thi các vòng 1, 4, 6, 7 và 8 trên iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Để biết thêm thông tin về gcloud CLI, hãy xem tài liệu tham khảo .

Bước 3 (Tùy chọn) : Tự động hóa các bài kiểm tra trong tương lai mà bạn xây dựng

Viết lệnh gcloud bằng Test Lab

Bạn có thể sử dụng tập lệnh shell hoặc tệp bó để tự động hóa các lệnh kiểm tra ứng dụng di động mà bạn thường chạy bằng dòng lệnh gcloud. Tập lệnh bash mẫu này chạy XCTest với thời gian chờ là hai phút và báo cáo nếu quá trình chạy thử nghiệm hoàn tất thành công:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Mã thoát tập lệnh

Test Lab cung cấp một số mã thoát mà bạn có thể sử dụng để hiểu rõ hơn về kết quả của các bài kiểm tra mà bạn chạy bằng cách sử dụng tập lệnh hoặc tệp bó.

Mã thoát Ghi chú
0 Tất cả các lần thực hiện thử nghiệm đã được thông qua.
1 Đã xảy ra sự cố chung. Các nguyên nhân có thể bao gồm: tên tệp không tồn tại hoặc lỗi HTTP/mạng.
2 Việc kiểm tra đã kết thúc vì các lệnh hoặc đối số không xác định đã được cung cấp.
10 Một hoặc nhiều trường hợp kiểm thử (các lớp được kiểm thử hoặc các phương thức lớp) trong quá trình thực hiện kiểm thử đã không đạt.
15 Phòng thí nghiệm kiểm tra Firebase không thể xác định xem ma trận thử nghiệm đạt hay không thành công do xảy ra lỗi không mong muốn.
19 Ma trận thử nghiệm đã bị người dùng hủy bỏ.
20 Đã xảy ra lỗi cơ sở hạ tầng thử nghiệm.

Bước 4 : Khảo sát kết quả kiểm tra

Khi bài kiểm tra bắt đầu, bạn sẽ nhận được liên kết đến trang Kết quả kiểm tra . Quá trình kiểm tra có thể mất vài phút để chạy, tùy thuộc vào số lượng cấu hình khác nhau mà bạn đã chọn và khoảng thời gian chờ kiểm tra được đặt cho các kiểm tra của bạn. Sau khi chạy thử nghiệm, bạn có thể xem lại kết quả thử nghiệm. Xem Phân tích kết quả phòng thử nghiệm Firebase để tìm hiểu thêm về cách diễn giải kết quả thử nghiệm của bạn.

Bước tiếp theo

Đọc tài liệu Google Cloud SDK để khám phá các tùy chọn thử nghiệm thường có sẵn hoặc ở phiên bản beta .