Có nhiều cách để sử dụng Firebase Test Lab để chạy kiểm thử trên ứng dụng Android, bao gồm giao diện dòng lệnh, Android Studio, giao diện người dùng Test Lab trong bảng điều khiển Firebase và Testing API. Dù bạn chọn bắt đầu thử nghiệm theo cách nào, kết quả cũng sẽ được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng cách sử dụng API ToolResults ngoài bất kỳ công cụ nào ở trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm thử này.
Các khái niệm quan trọng
Trong bảng điều khiển Firebase, bạn có thể xem kết quả của tất cả các lần chạy thử nghiệm trước đó bằng cách chuyển đến phần DevOps & Engagement (DevOps và mức độ tương tác) > Test Lab. Trang này hiển thị tất cả kết quả chi tiết của các lần chạy kiểm thử từ những ứng dụng mà bạn đã kiểm thử bằng dự án của mình thông qua Test Lab.
Để xem kết quả thử nghiệm, trước tiên, bạn cần hiểu rõ 3 khái niệm:
Khi bạn chạy một thử nghiệm hoặc một tập hợp các trường hợp thử nghiệm trên các thiết bị và cấu hình mà bạn đã chọn, Test Lab sẽ chạy thử nghiệm trên ứng dụng của bạn theo lô, sau đó hiển thị kết quả dưới dạng ma trận thử nghiệm.
Thiết bị × Phiên chạy thử nghiệm = Ma trận thử nghiệm
- Thiết bị
- Một thiết bị thực hoặc thiết bị ảo (chỉ dành cho Android) mà bạn chạy kiểm thử, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị đeo. Các thiết bị trong ma trận thử nghiệm được xác định theo mẫu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn gọi là chế độ cài đặt ngôn ngữ và địa lý).
- Thử nghiệm, phiên chạy thử nghiệm
- Một chương trình kiểm thử (hoặc một tập hợp các trường hợp kiểm thử) sẽ chạy trên một thiết bị. Bạn có thể chạy một chương trình kiểm thử trên mỗi thiết bị hoặc phân đoạn chương trình kiểm thử và chạy các trường hợp kiểm thử trên nhiều thiết bị.
- Ma trận thử nghiệm
- Chứa trạng thái và kết quả kiểm thử cho các phiên chạy thử nghiệm. Nếu có bất kỳ phiên chạy thử nghiệm nào trong ma trận không thành công, thì toàn bộ ma trận sẽ không thành công.
Các phần sau đây giải thích cách xem kết quả kiểm thử.
Diễn giải kết quả trong nhật ký kiểm tra
Khi chuyển đến kết quả kiểm thử bằng cách chọn Test Lab, bạn sẽ thấy kết quả của các kiểm thử mà bạn đã chạy cho đến nay.
Nhật ký kiểm thử được nhóm theo ứng dụng. Chỉ có 5 ma trận kiểm thử gần đây nhất được hiển thị cho mỗi ứng dụng; nếu có nhiều hơn, bạn có thể nhấp vào đường liên kết Tất cả ma trận ở cuối danh sách kiểm thử ứng dụng để xem danh sách đầy đủ cho ứng dụng đó.
Diễn giải kết quả ma trận thử nghiệm
Khi bắt đầu thử nghiệm thông qua giao diện người dùng Test Lab, bạn sẽ được chuyển hướng đến một trang nơi bạn có thể xem ma trận thử nghiệm và nhấp vào một phiên chạy thử nghiệm cụ thể để xem kết quả thử nghiệm. Android Studio và lệnh gcloud cũng cung cấp URL cho trang kết quả ma trận thử nghiệm.
Trong một ma trận thử nghiệm thông thường, bạn có thể chạy thử nghiệm trên khoảng mười thiết bị khác nhau. Mỗi phiên chạy thử nghiệm có thể có một kết quả khác nhau. Kết quả có thể xảy ra đối với mọi phiên chạy thử nghiệm trong ma trận thử nghiệm bao gồm:
- Đạt
: Không gặp lỗi nào. - Không thành công
: Đã xảy ra ít nhất một lỗi. - Không thể đưa ra kết luận
: Kết quả kiểm thử không thể đưa ra kết luận, có thể là do lỗi Test Lab. - Bỏ qua
: Các giá trị phương diện đã chọn cho một số phiên chạy thử nghiệm trong ma trận không tương thích. Điều này xảy ra khi
các thiết bị bạn chọn không tương thích với một hoặc nhiều cấp độ API Android
mà bạn chọn.
Để xem kết quả kiểm thử tổng hợp cho tất cả ma trận kiểm thử của một ứng dụng nhất định trong dự án Firebase, hãy nhấp vào tên của ứng dụng đó, như trong ví dụ sau:
Trang kết quả ma trận thử nghiệm mẫu chỉ có 4 phiên chạy thử nghiệm
Thao tác này sẽ đưa bạn đến danh sách ma trận thử nghiệm cho ứng dụng của bạn. Tại đây, bạn có thể nhấp vào tên của bất kỳ ma trận thử nghiệm nào để xem kết quả của ma trận thử nghiệm đó, đồng thời có thể nhấp vào tên của ứng dụng (hiển thị trong hộp màu đỏ bên dưới) để xem danh sách ma trận thử nghiệm cho các ứng dụng khác được liên kết với dự án Firebase của bạn.
Trang danh sách ma trận thử nghiệm mẫu
Ma trận thử nghiệm có thể đạt, không đạt hoặc không có kết luận. Ma trận thử nghiệm sẽ được hiển thị là không thành công hoặc không có kết luận nếu có bất kỳ phiên chạy thử nghiệm nào trong ma trận đó không thành công hoặc không có kết luận.
Diễn giải kết quả thử nghiệm Robo
Nếu bạn chạy thử nghiệm bằng Robo, thì kết quả sẽ bao gồm video và ảnh chụp màn hình của Robo thu thập dữ liệu giao diện người dùng, ngoài các chỉ số thử nghiệm thông thường. Những video và ảnh chụp màn hình đó bao gồm các chỉ báo trực quan về những hành động mà Robo đã thực hiện trong quá trình thu thập dữ liệu, tương tự như tính năng "Hiển thị thao tác chạm" trong Android. Bạn có thể sử dụng các chỉ báo để theo dõi tiến trình của Robo và tái hiện mọi lỗi mà Robo có thể phát hiện.
Video ví dụ về kết quả thử nghiệm Robo
Diễn giải kết quả từ một phiên chạy thử nghiệm
Trên trang kết quả của ma trận thử nghiệm, hãy nhấp vào một trong các phiên chạy thử nghiệm để xem kết quả của phiên chạy thử nghiệm cụ thể đó.
Trang kết quả phiên chạy thử nghiệm mẫu
Trên trang này, bạn có thể xem thời gian cần thiết cho mỗi phiên chạy thử nghiệm. Bạn cũng có thể xem kết quả cho các trường hợp kiểm thử cụ thể tương ứng với các phương thức trong APK kiểm thử (đối với kiểm thử đo lường) và kết quả kiểm thử chi tiết, bao gồm cả nhật ký kiểm thử, ảnh chụp màn hình và video. Đối với Thử nghiệm Robo, kết quả thử nghiệm chi tiết cũng bao gồm một bản đồ hoạt động cho thấy bằng đồ hoạ các đường dẫn giao diện người dùng mà thử nghiệm Robo đã truy cập.
Kết quả kiểm thử đo lường được phân vùng
Để giúp bạn diễn giải kết quả kiểm thử đo lường, Test Lab tách riêng từng hoạt động kiểm thử vào trang báo cáo chi tiết riêng, hoàn chỉnh với dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động bất kể bạn có đang sử dụng Android Orchestrator hay không.
Trang kết quả của trường hợp kiểm thử mẫu
Diễn giải kết quả về khả năng hỗ trợ tiếp cận
Thử nghiệm Robo sử dụng Trình quét hỗ trợ tiếp cận của Android để phát hiện các vấn đề về hỗ trợ tiếp cận trong ứng dụng của bạn (lưu ý rằng bạn cũng có thể chạy quy trình quét cục bộ trên thiết bị của mình). Để biết hướng dẫn về cách xem xét và diễn giải kết quả hỗ trợ tiếp cận của thử nghiệm Robo, hãy truy cập vào phần Bắt đầu sử dụng Trình quét hỗ trợ tiếp cận.
Để biết thông tin chung về cách cải thiện khả năng hỗ trợ tiếp cận của ứng dụng, hãy truy cập vào Tài liệu về khả năng hỗ trợ tiếp cận dành cho nhà phát triển Android.
Chỉ số hiệu suất
Các chương trình kiểm thử chạy trên thiết bị thực cũng trả về các chỉ số hiệu suất:
| Chỉ số | Cấu hình thiết bị bắt buộc |
|---|---|
| Thời gian khởi động ứng dụng | API 19 trở lên |
| Mức sử dụng CPU | API 21 trở lên |
| Mức sử dụng bộ nhớ | |
| Hoạt động mạng | |
| Khung hình/giây | API 21 trở lên và bao gồm SurfaceView |
Kết quả kiểm tra chi tiết
Kết quả kiểm thử chi tiết sẽ có trong 90 ngày sau khi bạn chạy kiểm thử và được lưu trữ trong một bộ chứa Google Cloud Storage (nhưng cũng xuất hiện trong bảng điều khiển Firebase). Bạn có thể xem kết quả kiểm thử chi tiết trong bộ chứa Cloud Storage khi nhấp vào Kết quả kiểm thử trên trang kết quả của phiên chạy thử nghiệm. Khi kết quả kiểm thử chi tiết không còn nữa, bạn vẫn có thể xem những bài kiểm thử nào đạt hoặc không đạt.
Nếu muốn giữ lại kết quả kiểm thử chi tiết trong hơn 90 ngày, bạn có thể gửi các kết quả kiểm thử này đến một bộ chứa Cloud Storage mà bạn sở hữu bằng cách sử dụng tuỳ chọn dòng lệnh gcloud --results-bucket. Sau đó, bạn có thể đặt chế độ cài đặt Tuổi để xác định thời gian lưu trữ kết quả trong bộ chứa Cloud Storage. Hãy xem phần Điều kiện vòng đời để biết thông tin về cách thay đổi chế độ cài đặt Tuổi.
Khi chạy thử nghiệm, nếu bạn nhận được lỗi does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).., thì có thể chủ thể thực hiện thử nghiệm không có quyền chính xác đối với dự án. Theo mặc định, Firebase sẽ tạo một bộ chứa cho bạn trong Google Cloud Storage. Tuy nhiên, bộ chứa này yêu cầu người thực hiện kiểm thử phải có "roles/editor" (vai trò/người chỉnh sửa), đây là một vai trò có quyền truy cập rộng. Nếu không thể cấp vai trò đó cho người dùng chính, bạn có thể sử dụng tuỳ chọn dòng lệnh gcloud --results-bucket.