Trang này cung cấp trợ giúp khắc phục sự cố và câu trả lời cho các câu hỏi thường gặp về việc chạy thử nghiệm với Phòng thí nghiệm kiểm tra Firebase. Các vấn đề đã biết cũng được ghi lại. Nếu bạn không thể tìm thấy những gì mình đang tìm kiếm hoặc cần trợ giúp thêm, hãy tham gia kênh #test-lab trên Firebase Slack hoặc liên hệ với bộ phận hỗ trợ của Firebase .
Xử lý sự cố
Khi bạn chọn một thiết bị có mức dung lượng cao trong danh mục Test Lab, quá trình thử nghiệm có thể bắt đầu nhanh hơn. Khi một thiết bị có dung lượng thấp, các thử nghiệm có thể mất nhiều thời gian hơn để chạy. Nếu số lượng xét nghiệm được thực hiện lớn hơn nhiều so với khả năng của các thiết bị đã chọn, thì có thể mất nhiều thời gian hơn để hoàn thành xét nghiệm.
Các thử nghiệm chạy ở mọi cấp độ dung lượng thiết bị có thể mất nhiều thời gian hơn do các yếu tố sau:
- Lưu lượng truy cập ảnh hưởng đến tính khả dụng của thiết bị và tốc độ thử nghiệm.
- Lỗi thiết bị hoặc cơ sở hạ tầng, có thể xảy ra bất cứ lúc nào. Để kiểm tra xem có cơ sở hạ tầng nào được báo cáo cho Test Lab hay không, hãy xem bảng điều khiển trạng thái Firebase .
Để tìm hiểu thêm về dung lượng thiết bị trong Test Lab, hãy xem thông tin dung lượng thiết bị dành cho Android và iOS .
Kết quả thử nghiệm không thuyết phục thường xảy ra do các lần chạy thử nghiệm bị hủy hoặc lỗi cơ sở hạ tầng.
Lỗi cơ sở hạ tầng là do các sự cố nội bộ của Phòng thí nghiệm kiểm tra, chẳng hạn như lỗi mạng hoặc hoạt động không mong muốn của thiết bị. Test Lab dừng nội bộ các lần chạy thử nghiệm gây ra lỗi cơ sở hạ tầng nhiều lần trước khi báo cáo kết quả không thuyết phục; tuy nhiên, bạn có thể tắt các lần thử lại này bằng cách sử dụng failFast .
Để xác định nguyên nhân gây ra lỗi, hãy làm theo các bước sau:
- Kiểm tra các sự cố ngừng hoạt động đã biết trong bảng điều khiển trạng thái Firebase .
Thử lại phép thử trong Phòng thí nghiệm kiểm tra để xác minh rằng phép thử có thể lặp lại được.
Hãy thử chạy thử nghiệm trên một thiết bị hoặc loại thiết bị khác, nếu có.
Nếu sự cố vẫn tiếp diễn, hãy liên hệ với nhóm Phòng thí nghiệm kiểm tra trong kênh #test-lab trên Firebase Slack.
Việc phân đoạn có thể khiến các thử nghiệm của bạn chạy lâu hơn khi số lượng phân đoạn bạn chỉ định vượt quá số lượng thiết bị có sẵn để sử dụng trong Test Lab. Để tránh tình trạng này, hãy thử chuyển sang một thiết bị khác. Để biết thêm thông tin về cách chọn một thiết bị khác, hãy xemDung lượng thiết bị .
Khi bạn gửi yêu cầu thử nghiệm, trước tiên, ứng dụng của bạn sẽ được xác thực, ký lại, v.v. để chuẩn bị chạy thử nghiệm trên thiết bị. Thông thường, quá trình này hoàn tất trong chưa đầy vài giây, nhưng quá trình này có thể bị ảnh hưởng bởi các yếu tố như kích thước ứng dụng của bạn.
Sau khi ứng dụng của bạn được chuẩn bị, các lần thực thi thử nghiệm được lên lịch và duy trì trong hàng đợi cho đến khi thiết bị sẵn sàng chạy ứng dụng đó. Cho đến khi tất cả các lần thực thi thử nghiệm chạy xong, trạng thái ma trận sẽ là "Đang chờ xử lý" (bất kể các lần thực thi thử nghiệm đang ở trong hàng đợi hay đang chạy tích cực).
Sau khi quá trình thực hiện kiểm tra kết thúc, các thành phần lạ kiểm tra được tải xuống từ thiết bị, được xử lý và tải lên Cloud Storage. Thời lượng của bước này có thể bị ảnh hưởng bởi số lượng và kích thước của hiện vật.
Các câu hỏi thường gặp
Phòng thí nghiệm kiểm tra Firebase cung cấp hạn ngạch miễn phí để thử nghiệm trên thiết bị và sử dụng API đám mây. Lưu ý rằng hạn ngạch thử nghiệm sử dụng gói định giá Firebase tiêu chuẩn, trong khi hạn ngạch API Cloud thì không.
hạn ngạch kiểm tra
Hạn ngạch thử nghiệm được xác định bởi số lượng thiết bị được sử dụng để chạy thử nghiệm. Gói Firebase Spark có hạn ngạch thử nghiệm cố định và miễn phí cho người dùng. Đối với gói Blaze, hạn ngạch của bạn có thể tăng lên nếu mức sử dụng Google Cloud của bạn tăng theo thời gian. Nếu bạn đạt đến hạn ngạch thử nghiệm của mình, hãy đợi đến ngày hôm sau hoặc nâng cấp lên gói Blaze nếu bạn hiện đang sử dụng gói Spark. Nếu bạn đã sử dụng gói Blaze, bạn có thể yêu cầu tăng hạn ngạch. Để biết thêm thông tin, xem Hạn ngạch kiểm tra .
Bạn có thể theo dõi việc sử dụng hạn ngạch thử nghiệm của mình trong Google Cloud Console .
Hạn ngạch API kiểm tra đám mây
API Thử nghiệm trên đám mây đi kèm với hai giới hạn định mức: yêu cầu mỗi ngày cho mỗi dự án và yêu cầu mỗi 100 giây cho mỗi dự án. Bạn có thể theo dõi việc sử dụng của mình trong Google Cloud Console .
Hạn ngạch API kết quả của Công cụ đám mây
API kết quả của Công cụ đám mây đi kèm với hai giới hạn định mức: truy vấn mỗi ngày cho mỗi dự án và truy vấn mỗi 100 giây cho mỗi dự án. Bạn có thể theo dõi việc sử dụng của mình trong Google Cloud Console .
Tham khảo hạn ngạch Cloud API cho Test Lab để biết thêm thông tin về giới hạn API. Nếu bạn đã đạt đến hạn ngạch API:
Gửi yêu cầu hạn ngạch cao hơn bằng cách chỉnh sửa hạn ngạch của bạn trực tiếp trong Google Cloud Console (lưu ý rằng hầu hết các giới hạn được đặt thành tối đa theo mặc định) hoặc
Yêu cầu hạn ngạch API cao hơn bằng cách điền vào biểu mẫu yêu cầu trong Google Cloud Console hoặc bằng cách liên hệ với bộ phận hỗ trợ của Firebase .
Từ chương trình phụ trợ của mình, bạn có thể xác định xem lưu lượng truy cập có đến từ các thiết bị thử nghiệm được lưu trữ trên Firebase hay không bằng cách kiểm tra địa chỉ IP nguồn so với dải IP của chúng tôi .
Test Lab không hoạt động với VPC-SC, vốn chặn việc sao chép ứng dụng và các thành phần thử nghiệm khác giữa bộ nhớ trong của Test Lab và bộ chứa kết quả của người dùng. Hiện tại, một yêu cầu tính năng đã được gửi để thêm hỗ trợ VPC-SC trong bản phát hành trong tương lai.
Để phát hiện hành vi không ổn định trong các thử nghiệm của bạn, chúng tôi khuyên bạn nên sử dụng tùy chọn--num-flaky-test-attempts. Các lần chạy lại Deflake được lập hóa đơn hoặc tính vào hạn ngạch hàng ngày của bạn giống như các lần thực thi kiểm tra bình thường.
Hãy ghi nhớ những điều sau:
- Toàn bộ quá trình thực hiện kiểm thử sẽ chạy lại khi phát hiện lỗi. Không có hỗ trợ chỉ thử lại các trường hợp thử nghiệm không thành công.
- Các lần chạy thử lại Deflake được lên lịch để chạy cùng lúc, nhưng không đảm bảo sẽ chạy song song, chẳng hạn như khi lưu lượng truy cập vượt quá số lượng thiết bị khả dụng.
Mặc dù một số mục này nằm trong lộ trình của chúng tôi, nhưng chúng tôi hiện không thể đưa ra cam kết hỗ trợ các nền tảng thử nghiệm và phát triển ứng dụng này.
Thông tin chi tiết về thiết bị có sẵn thông qua API và có thể được truy cập từ ứng dụng khách gcloud bằng cách sử dụng lệnh description :
gcloud firebase test ios models describe MODEL
Sharding vốn không được hỗ trợ trong Test Lab dành cho iOS. Tuy nhiên, bạn có thể sử dụng ứng dụng khách Flank để phân tách các trường hợp thử nghiệm iOS.
Điều này hoạt động bằng cách đặt khóa OnlyTestIdentifiers và các giá trị trong tệp .xctestrun . Xem trang man cho xcodebuild.xctestrun để biết thêm chi tiết.