Có nhiều cách để sử dụng Firebase Test Lab nhằm chạy kiểm thử trên ứng dụng Android của bạn, bao gồm cả giao diện dòng lệnh, Android Studio, giao diện người dùng Test Lab trong bảng điều khiển Firebase và Testing API. Dù bạn chọn cách nào để bắt đầu kiểm thử, kết quả sẽ được lưu trữ trong dự án Firebase mà bạn chỉ định. Bạn có thể khám phá kết quả bằng ToolResults API ngoài bất kỳ công cụ nào ở trên. Trang này mô tả cách xem xét và phân tích các kết quả kiểm thử này.
Các khái niệm chính
Để xem kết quả của tất cả các lần chạy kiểm thử trước đây, hãy chọn Test Lab trong bảng điều hướng bên trái của dự án trong bảng điều khiển Firebase. Trang này hiển thị tất cả các lần chạy kiểm thử từ những ứng dụng mà bạn đã kiểm thử bằng dự án của mình bằng cách sử dụng Test Lab.
Để xem kết quả kiểm thử, trước tiên, bạn cần hiểu 3 khái niệm:
Khi bạn chạy một quy trình kiểm thử hoặc một bộ trường hợp kiểm thử trên các thiết bị và cấu hình mà bạn đã chọn, Test Lab sẽ chạy quy trình kiểm thử đối với ứng dụng của bạn theo lô, sau đó hiển thị kết quả dưới dạng ma trận kiểm thử.
Thiết bị × Lần thực thi kiểm thử = Ma trận kiểm thử
- Thiết bị
- Một thiết bị thực hoặc thiết bị ảo (chỉ dành cho Android) mà bạn chạy kiểm thử trên đó, chẳng hạn như điện thoại, máy tính bảng hoặc thiết bị đeo. Các thiết bị trong ma trận kiểm thử được xác định theo mẫu thiết bị, phiên bản hệ điều hành, hướng màn hình và ngôn ngữ (còn được gọi là chế độ cài đặt địa lý và ngôn ngữ).
- Kiểm thử, phiên chạy thử nghiệm
- Một quy trình kiểm thử (hoặc một bộ quy trình kiểm thử) sẽ chạy trên một thiết bị. Bạn có thể chạy một kiểm thử trên mỗi thiết bị hoặc tuỳ ý phân đoạn kiểm thử và chạy các trường hợp kiểm thử trên các thiết bị khác nhau.
- Ma trận kiểm thử
- Chứa trạng thái và kết quả kiểm thử cho các lần thực thi kiểm thử. Nếu có bất kỳ lượt thực thi kiểm thử nào trong một ma trận không thành công, thì toàn bộ ma trận sẽ không thành công.
Các phần sau đây giải thích cách xem kết quả kiểm thử.
Diễn giải kết quả nhật ký kiểm thử
Khi chuyển đến kết quả thử nghiệm bằng cách chọn biểu tượng Test Lab, bạn sẽ thấy kết quả của các thử nghiệm mà bạn đã chạy cho đến nay.
Nhật ký kiểm thử được nhóm theo ứng dụng. Mỗi ứng dụng chỉ hiển thị 5 ma trận kiểm thử gần đây nhất; nếu có nhiều ma trận hơn, bạn có thể nhấp vào đường liên kết Tất cả ma trận ở cuối danh sách kiểm thử ứng dụng để xem danh sách đầy đủ cho ứng dụng đó.
Diễn giải kết quả ma trận kiểm thử
Khi bắt đầu kiểm thử thông qua giao diện người dùng Test Lab, bạn sẽ được chuyển hướng đến một trang nơi bạn có thể xem ma trận kiểm thử và nhấp vào một lần thực thi kiểm thử cụ thể để xem kết quả kiểm thử. Android Studio và lệnh gcloud cũng cung cấp một URL cho trang kết quả ma trận kiểm thử.
Trong một ma trận kiểm thử điển hình, bạn có thể chạy một kiểm thử trên khoảng chục thiết bị khác nhau. Mỗi lần thực thi kiểm thử có thể cho ra một kết quả khác. Các kết quả có thể xảy ra đối với mọi lần thực thi kiểm thử trong ma trận kiểm thử bao gồm những kết quả sau:
- Đạt
: Không gặp phải lỗi nào. - Không thành công
: Đã xảy ra ít nhất một lỗi. - Không thể đưa ra kết luận
: Kết quả thử nghiệm không thể đưa ra kết luận, có thể là do lỗi Test Lab. - Đã bỏ qua
: Các giá trị phương diện đã chọn cho một số lần thực thi kiểm thử trong ma trận không tương thích. Điều này xảy ra khi các thiết bị mà bạn đã chọn không tương thích với một hoặc nhiều cấp độ API Android mà bạn đã chọn.
Để xem kết quả kiểm thử tổng hợp cho tất cả các ma trận kiểm thử của một ứng dụng nhất định trong dự án Firebase, hãy nhấp vào tên của ứng dụng đó, như trong ví dụ sau:
Trang kết quả ma trận kiểm thử mẫu chỉ có 4 lần thực thi kiểm thử
Thao tác này sẽ đưa bạn đến danh sách ma trận kiểm thử cho ứng dụng của mình. Tại đây, bạn có thể nhấp vào tên của bất kỳ ma trận kiểm thử nào để xem kết quả ma trận kiểm thử, đồng thời có thể nhấp vào tên của ứng dụng (xuất hiện trong hộp màu đỏ bên dưới) để xem danh sách ma trận kiểm thử cho các ứng dụng khác được liên kết với dự án Firebase của bạn.
Ví dụ về trang danh sách ma trận kiểm thử
Một ma trận kiểm thử có thể đạt, không đạt hoặc không có kết quả. Ma trận kiểm thử sẽ hiển thị là không thành công hoặc không kết luận được nếu có bất kỳ lượt thực thi kiểm thử nào trong ma trận đó không thành công hoặc không kết luận được.
Diễn giải kết quả thử nghiệm Robo
Nếu bạn chạy kiểm thử bằng Robo, kết quả sẽ bao gồm video và ảnh chụp màn hình về Robo thu thập dữ liệu giao diện người dùng của bạn, ngoài các chỉ số kiểm thử thông thường. Những video và ảnh chụp màn hình đó bao gồm các dấu hiệu trực quan về những hành động mà Robo đã thực hiện trong quá trình thu thập dữ liệu, tương tự như tính năng "Hiện thao tác chạm" trong Android. Bạn có thể sử dụng các chỉ báo này để theo dõi tiến trình của Robo và tái hiện mọi lỗi mà Robo có thể phát hiện.
Ví dụ về video kết quả kiểm thử Robo
Diễn giải kết quả từ một lần thực thi kiểm thử
Trên trang kết quả ma trận kiểm thử, hãy nhấp vào một trong các lần thực thi kiểm thử để xem kết quả của lần thực thi kiểm thử cụ thể đó.
Ví dụ về trang kết quả thực hiện kiểm thử
Trên trang này, bạn có thể xem thời gian cần thiết cho mỗi lần thực thi kiểm thử. Bạn cũng có thể xem kết quả của các trường hợp kiểm thử cụ thể tương ứng với các phương thức trong APK kiểm thử (đối với kiểm thử đo lường) và kết quả kiểm thử chi tiết, bao gồm cả nhật ký kiểm thử, ảnh chụp màn hình và video. Đối với Thử nghiệm Robo, kết quả kiểm thử chi tiết cũng bao gồm một bản đồ hoạt động cho thấy bằng hình ảnh các đường dẫn giao diện người dùng mà Thử nghiệm Robo đã truy cập.
Kết quả kiểm thử đo lường được phân vùng
Để giúp bạn diễn giải kết quả kiểm thử đo lường, Test Lab tách từng kiểm thử thành trang báo cáo chi tiết riêng, kèm theo dấu vết ngăn xếp, nhật ký và video. Tính năng này hoạt động bất kể bạn có đang dùng Android Orchestrator hay không.
Ví dụ về trang kết quả trường hợp kiểm thử
Diễn giải kết quả hỗ trợ tiếp cận
Kiểm thử bằng Robo sử dụng Trình quét hỗ trợ tiếp cận của Android để phát hiện các vấn đề về khả năng hỗ trợ tiếp cận trong ứng dụng của bạn (xin lưu ý rằng bạn cũng có thể chạy quy trình quét cục bộ trên thiết bị của mình). Để biết hướng dẫn về cách xem xét và diễn giải kết quả hỗ trợ tiếp cận của kiểm thử Robo, hãy truy cập vào trang Bắt đầu sử dụng Trình quét hỗ trợ tiếp cận.
Để biết thông tin chung về cách cải thiện khả năng hỗ trợ tiếp cận của ứng dụng, hãy truy cập vào Tài liệu về khả năng hỗ trợ tiếp cận dành cho nhà phát triển Android.
Các chỉ số hiệu suất
Các kiểm thử chạy trên thiết bị thực cũng trả về các chỉ số về hiệu suất:
| Chỉ số | Cấu hình thiết bị bắt buộc |
|---|---|
| Thời gian khởi động ứng dụng | API 19+ |
| Mức sử dụng CPU | API 21 trở lên |
| Mức sử dụng bộ nhớ | |
| Hoạt động mạng | |
| Khung hình/giây | API 21 trở lên và bao gồm SurfaceView |
Kết quả kiểm tra chi tiết
Kết quả kiểm thử chi tiết sẽ có trong 90 ngày sau khi bạn chạy một kiểm thử và được lưu trữ trong một nhóm Google Cloud Storage (nhưng cũng xuất hiện trong bảng điều khiển Firebase). Bạn có thể xem kết quả kiểm thử chi tiết trong nhóm Cloud Storage khi nhấp vào Kết quả kiểm thử trên trang kết quả thực thi kiểm thử. Khi không còn kết quả kiểm thử chi tiết, bạn vẫn có thể xem những kiểm thử nào đã đạt hoặc không đạt.
Nếu muốn giữ lại kết quả kiểm thử chi tiết trong hơn 90 ngày, bạn có thể gửi những kết quả kiểm thử này đến một vùng lưu trữ Cloud Storage mà bạn sở hữu bằng cách sử dụng lựa chọn dòng lệnh --results-bucket gcloud. Sau đó, bạn có thể đặt chế độ cài đặt Độ tuổi để xác định khoảng thời gian lưu trữ kết quả trong nhóm Cloud Storage của bạn. Hãy xem phần Điều kiện về vòng đời để biết thông tin về cách thay đổi chế độ cài đặt Độ tuổi.
Khi chạy một kiểm thử, nếu bạn nhận được lỗi does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).., thì có thể là đối tượng chính thực thi kiểm thử không có quyền phù hợp đối với dự án. Theo mặc định, Firebase sẽ tạo một bộ chứa cho bạn trong Google Cloud Storage. Tuy nhiên, bộ chứa này yêu cầu người dùng chính thực thi kiểm thử phải có "roles/editor" (một vai trò cho phép). Nếu không thể cấp vai trò đó cho thực thể chính, bạn có thể sử dụng lựa chọn dòng lệnh --results-bucket của gcloud.