Khắc phục sự cố trong Phòng thử nghiệm & Câu hỏi thường gặp

Tại sao thử nghiệm của tôi mất quá nhiều thời gian để chạy?

Khi bạn chọn một thiết bị có mức dung lượng cao trong danh mục Test Lab, các kiểm thử có thể bắt đầu nhanh hơn. Khi thiết bị có dung lượng thấp, các kiểm thử có thể mất nhiều thời gian hơn để chạy. Nếu số lượng kiểm thử được gọi lớn hơn nhiều so với khả năng của các thiết bị đã chọn, thì các kiểm thử có thể mất nhiều thời gian hơn để hoàn tất.

Các kiểm thử chạy ở bất kỳ cấp độ nào về dung lượng thiết bị đều có thể mất nhiều thời gian hơn do các yếu tố sau:

• Lưu lượng truy cập, ảnh hưởng đến khả năng truy cập vào thiết bị và tốc độ kiểm thử.
• Thiết bị hoặc cơ sở hạ tầng gặp sự cố, có thể xảy ra bất cứ lúc nào. Để kiểm tra xem có cơ sở hạ tầng nào được báo cáo cho Test Lab hay không, hãy xem trang tổng quan về trạng thái của Firebase.

Để tìm hiểu thêm về dung lượng thiết bị trong Test Lab, hãy xem thông tin về dung lượng thiết bị cho Android và iOS.

Tại sao tôi nhận được kết quả thử nghiệm không thể đưa ra kết luận?

Kết quả kiểm thử không kết luận được thường xảy ra do các lần chạy kiểm thử bị huỷ hoặc lỗi cơ sở hạ tầng.

Lỗi cơ sở hạ tầng là do các vấn đề nội bộ Test Lab gây ra, chẳng hạn như lỗi mạng hoặc hành vi không mong muốn của thiết bị. Test Lab sẽ tự động huỷ các lần chạy thử nghiệm tạo ra lỗi cơ sở hạ tầng nhiều lần trước khi báo cáo kết quả không xác định; tuy nhiên, bạn có thể tắt các lần thử lại này bằng cách sử dụng failFast.

Để xác định nguyên nhân gây ra lỗi, hãy làm theo các bước sau:

1. Kiểm tra để xem có sự cố ngừng dịch vụ nào đã biết trong trang tổng quan về trạng thái của Firebase hay không.

2. Thử lại kiểm thử trong Test Lab để xác minh rằng kiểm thử có thể tái tạo.

3. Hãy thử chạy kiểm thử trên một thiết bị hoặc loại thiết bị khác (nếu có).

Nếu vấn đề vẫn tiếp diễn, hãy liên hệ với nhóm Test Lab trong kênh#test-lab trên Firebase Slack.

Tại sao việc phân đoạn lại khiến các kiểm thử của tôi chạy lâu hơn?

Phân đoạn có thể khiến các chương trình kiểm thử của bạn chạy lâu hơn khi số lượng phân đoạn mà bạn chỉ định vượt quá số lượng thiết bị có thể sử dụng trong Test Lab. Để tránh tình trạng này, hãy thử chuyển sang một thiết bị khác. Để biết thêm thông tin về cách chọn một thiết bị khác, hãy xem phần Dung lượng thiết bị.

Tại sao quá trình kiểm thử của tôi mất nhiều thời gian để bắt đầu?

Khi bạn gửi một yêu cầu kiểm thử, trước tiên, ứng dụng của bạn sẽ được xác thực, ký lại, v.v. để chuẩn bị chạy các kiểm thử trên một thiết bị. Thông thường, quá trình này hoàn tất trong vòng vài giây, nhưng có thể bị ảnh hưởng bởi các yếu tố như kích thước của ứng dụng.

Sau khi ứng dụng của bạn được chuẩn bị, các lần thực thi kiểm thử sẽ được lên lịch và vẫn nằm trong hàng đợi cho đến khi một thiết bị sẵn sàng chạy ứng dụng đó. Cho đến khi tất cả các lần thực thi kiểm thử hoàn tất, trạng thái ma trận sẽ là "Đang chờ xử lý" (bất kể các lần thực thi kiểm thử có nằm trong hàng đợi hay đang chạy hay không).

Tại sao quá trình kiểm thử của tôi mất nhiều thời gian để hoàn tất?

Sau khi quá trình thực thi kiểm thử hoàn tất, các cấu phần phần mềm kiểm thử sẽ được tải xuống từ thiết bị, xử lý và tải lên Cloud Storage. Thời lượng của bước này có thể bị ảnh hưởng bởi số lượng và kích thước của các cấu phần phần mềm.

Test Lab có những hạn mức miễn phí nào? Tôi nên làm gì nếu hết giấy phép?

Firebase Test Lab cung cấp hạn mức miễn phí để kiểm thử trên các thiết bị và để sử dụng Cloud API. Xin lưu ý rằng hạn mức kiểm thử sử dụng gói giá tiêu chuẩn của Firebase, trong khi hạn mức Cloud API thì không.

• Hạn mức kiểm thử

  Hạn mức kiểm thử được xác định bằng số lượng thiết bị dùng để chạy kiểm thử. Gói Spark của Firebase có hạn mức kiểm thử cố định mà người dùng không phải trả phí. Đối với gói Blaze, hạn mức của bạn có thể tăng lên nếu mức sử dụng Google Cloud của bạn tăng theo thời gian. Nếu bạn đạt đến hạn mức kiểm thử, hãy đợi đến ngày hôm sau hoặc nâng cấp lên gói Blaze nếu bạn đang dùng gói Spark. Nếu đang sử dụng gói Blaze, bạn có thể yêu cầu tăng hạn mức. Để biết thêm thông tin, hãy xem phần Kiểm thử hạn mức.

  Bạn có thể theo dõi hạn mức sử dụng kiểm thử trong bảng điều khiển Google Cloud.

• Hạn mức Cloud Testing API

  Cloud Testing API có 2 hạn mức: số yêu cầu mỗi ngày cho mỗi dự án và số yêu cầu mỗi 100 giây cho mỗi dự án. Bạn có thể theo dõi mức sử dụng trong bảng điều khiển Google Cloud.

• Hạn mức Cloud Tool Results API

  Cloud Tool Results API có 2 hạn mức: số lượng truy vấn mỗi ngày cho mỗi dự án và số lượng truy vấn mỗi 100 giây cho mỗi dự án. Bạn có thể theo dõi mức sử dụng trong bảng điều khiển Google Cloud.

  Tham khảo Hạn mức API đám mây cho Test Lab để biết thêm thông tin về giới hạn API. Nếu bạn đã đạt đến hạn mức API:

  • Gửi yêu cầu tăng hạn mức bằng cách chỉnh sửa hạn mức ngay trong bảng điều khiển Google Cloud (lưu ý rằng theo mặc định, hầu hết các hạn mức đều được đặt ở mức tối đa), hoặc

  • Yêu cầu tăng hạn mức truy cập API bằng cách điền vào biểu mẫu yêu cầu trong bảng điều khiển Google Cloud hoặc bằng cách liên hệ với Nhóm hỗ trợ Firebase.

Làm cách nào để biết lưu lượng truy cập đến phần phụ trợ của tôi có phải đến từ Test Lab hay không?

Từ phần phụ trợ, bạn có thể xác định xem lưu lượng truy cập có đến từ các thiết bị kiểm thử do Firebase lưu trữ hay không bằng cách kiểm tra địa chỉ IP nguồn dựa trên dải IP của chúng tôi.

Test Lab có hoạt động với VPC-SC không?

Test Lab không hoạt động với VPC-SC. VPC-SC sẽ chặn việc sao chép ứng dụng và các cấu phần phần mềm kiểm thử khác giữa bộ nhớ trong của Test Lab và các nhóm kết quả của người dùng.

Làm cách nào để phát hiện các kiểm thử không ổn định trong Test Lab?

Để phát hiện hành vi không ổn định trong các kiểm thử, bạn nên sử dụng lựa chọn --num-flaky-test-attempts . Các lần chạy lại để loại bỏ lỗi sẽ được tính phí hoặc tính vào hạn mức hằng ngày của bạn giống như các lần thực thi kiểm thử thông thường.

Hãy ghi nhớ những điều sau:

• Toàn bộ quá trình thực thi kiểm thử sẽ chạy lại khi phát hiện thấy lỗi. Không có tính năng hỗ trợ thử lại chỉ các trường hợp kiểm thử không thành công.
• Các lần chạy thử lại để loại bỏ lỗi không ổn định được lên lịch chạy cùng lúc, nhưng không đảm bảo chạy song song, chẳng hạn như khi lưu lượng truy cập vượt quá số lượng thiết bị có sẵn.

Test Lab có hỗ trợ Appium, Flutter/FlutterDriver, ReactNative/Jest hay Cucumber không?

Mặc dù một số mục này nằm trong lộ trình của chúng tôi, nhưng hiện tại chúng tôi không thể cam kết hỗ trợ các nền tảng thử nghiệm và phát triển ứng dụng này.

Tôi có thể tìm thông tin chi tiết về thiết bị (chẳng hạn như độ phân giải) ở đâu?

Thông tin chi tiết về thiết bị có trong API và có thể truy cập từ ứng dụng gcloud bằng lệnh mô tả:

gcloud firebase test ios models describe MODEL

Tôi có thể sử dụng tính năng phân đoạn với các kiểm thử iOS không?

Phân đoạn không được hỗ trợ nguyên bản trong Test Lab cho iOS. Tuy nhiên, bạn có thể sử dụng ứng dụng Flank để phân đoạn các trường hợp kiểm thử iOS.

Cách này hoạt động bằng cách đặt khoá và giá trị OnlyTestIdentifiers trong tệp .xctestrun. Hãy xem trang man để biết thêm thông tin về xcodebuild.xctestrun.

Tại sao kết quả kiểm thử trên iOS của tôi lại thiếu video?

Đối với iOS 18 trở lên, chúng tôi không thể hỗ trợ video trong kết quả.

Hình ảnh xác thực khi đăng nhập

Thử nghiệm bằng robot không thể bỏ qua những màn hình đăng nhập yêu cầu người dùng thực hiện thêm hành động ngoài việc nhập thông tin đăng nhập để đăng nhập, ví dụ: hoàn tất CAPTCHA.

Hỗ trợ khung giao diện người dùng

Thử nghiệm bằng Robo hoạt động hiệu quả nhất với những ứng dụng sử dụng các phần tử giao diện người dùng trong khung giao diện người dùng Android (bao gồm cả các đối tượng View, ViewGroup và WebView). Nếu bạn sử dụng Kiểm thử bằng Robo để thực thi các ứng dụng dùng những khung giao diện người dùng khác, bao gồm cả các ứng dụng dùng công cụ trò chơi Unity, thì quá trình kiểm thử có thể thoát mà không khám phá thêm ngoài màn hình đầu tiên.