คุณใช้ Firebase Test Lab เพื่อทำการทดสอบแอป Android ได้หลายวิธี ซึ่งรวมถึงอินเทอร์เฟซบรรทัดคำสั่ง, Android Studio, Test Lab UI ในคอนโซล Firebase และ Testing API ไม่ว่าคุณจะเลือกเริ่มการทดสอบด้วยวิธีใด ผลการทดสอบจะจัดเก็บไว้ในโปรเจ็กต์ Firebase ที่คุณระบุ คุณสามารถสำรวจผลลัพธ์โดยใช้ ToolResults API นอกเหนือจากเครื่องมือข้างต้น หน้านี้จะอธิบายวิธีตรวจสอบและวิเคราะห์ผลการทดสอบเหล่านี้
แนวคิดสําคัญ
หากต้องการดูผลลัพธ์จากการทดสอบก่อนหน้านี้ทั้งหมด ให้เลือก Test Lab ในแผงการนำทางด้านซ้ายของโปรเจ็กต์ในคอนโซล Firebase หน้านี้จะแสดงการทดสอบทั้งหมดจากแอปที่คุณทดสอบกับโปรเจ็กต์โดยใช้ Test Lab
หากต้องการตรวจสอบผลการทดสอบ ก่อนอื่นคุณต้องเข้าใจแนวคิด 3 ข้อต่อไปนี้
เมื่อคุณทำการทดสอบหรือชุดกรณีทดสอบกับอุปกรณ์และการกําหนดค่าที่เลือกไว้ Test Lab จะทำการทดสอบกับแอปของคุณเป็นกลุ่ม แล้วแสดงผลลัพธ์เป็นตารางทดสอบ
อุปกรณ์ × การเรียกใช้การทดสอบ = เมทริกซ์การทดสอบ
- อุปกรณ์
- อุปกรณ์จริงหรือเสมือน (Android เท่านั้น) ที่คุณทำการทดสอบ เช่น โทรศัพท์ แท็บเล็ต หรืออุปกรณ์ที่สวมใส่ได้ อุปกรณ์ในตารางทดสอบจะระบุตามรุ่นอุปกรณ์ เวอร์ชันระบบปฏิบัติการ การวางแนวหน้าจอ และภาษา (หรือที่เรียกว่าการตั้งค่าภูมิศาสตร์และภาษา)
- ทดสอบ การดำเนินการทดสอบ
- การทดสอบ (หรือชุดเฟรมทดสอบ) ที่จะเรียกใช้บนอุปกรณ์ คุณสามารถเรียกใช้การทดสอบ 1 รายการต่ออุปกรณ์ หรือจะแบ่งการทดสอบและเรียกใช้ชุดทดสอบในอุปกรณ์ต่างๆ ก็ได้
- เมทริกซ์ทดสอบ
- มีสถานะและผลการทดสอบสําหรับการเรียกใช้การทดสอบ หากการเรียกใช้การทดสอบใดก็ตามในเมทริกซ์ล้มเหลว เมทริกซ์ทั้งรายการจะล้มเหลว
ส่วนต่อไปนี้จะอธิบายวิธีไปยังส่วนต่างๆ ของผลการทดสอบ
ตีความผลการทดสอบที่ผ่านมา
เมื่อไปยังผลการทดสอบโดยเลือก Test Lab คุณจะเห็นผลการทดสอบที่ดำเนินการจนถึงตอนนี้
ประวัติการทดสอบจะจัดกลุ่มตามแอป โดยระบบจะแสดงเฉพาะเมทริกซ์การทดสอบ 5 รายการล่าสุดสําหรับแต่ละแอป หากมีเมทริกซ์มากกว่านี้ คุณสามารถคลิกลิงก์เมทริกซ์ทั้งหมดที่ด้านล่างของรายการการทดสอบแอปเพื่อดูรายการทั้งหมดสําหรับแอปนั้น
ตีความผลการทดสอบเมทริกซ์
เมื่อเริ่มการทดสอบผ่าน Test Lab UI ระบบจะเปลี่ยนเส้นทางคุณไปยังหน้าที่คุณสามารถดูเมทริกซ์การทดสอบและคลิกการเรียกใช้การทดสอบที่เฉพาะเจาะจงเพื่อดูผลการทดสอบ Android Studio และคําสั่ง gcloud มี URL สําหรับหน้าผลลัพธ์ของตารางทดสอบด้วย
ในตารางการทดสอบทั่วไป คุณอาจทำการทดสอบในอุปกรณ์ต่างๆ ประมาณ 12 เครื่อง การดำเนินการทดสอบแต่ละครั้งอาจให้ผลลัพธ์ที่แตกต่างกัน ผลลัพธ์ที่เป็นไปได้สำหรับการดำเนินการทดสอบในตารางทดสอบมีดังนี้
- ผ่าน
: ไม่พบรายการที่ดำเนินการไม่สำเร็จ - ล้มเหลว
: พบการประมวลผลที่ไม่สำเร็จอย่างน้อย 1 ครั้ง - สรุปไม่ได้
: ผลการทดสอบสรุปไม่ได้ ซึ่งอาจเป็นเพราะข้อผิดพลาด Test Lab - ข้าม
: ค่ามิติข้อมูลที่เลือกสําหรับการทดสอบบางรายการในตารางใช้ร่วมกันไม่ได้ กรณีนี้เกิดขึ้นเมื่ออุปกรณ์ที่คุณเลือกใช้ร่วมกับระดับ Android API อย่างน้อย 1 ระดับที่คุณเลือกไว้ไม่ได้
หากต้องการตรวจสอบผลการทดสอบแบบรวมสำหรับเมทริกซ์การทดสอบทั้งหมดของแอปหนึ่งๆ ในโปรเจ็กต์ Firebase ให้คลิกชื่อแอปดังที่แสดงในตัวอย่างต่อไปนี้
ตัวอย่างหน้าผลการทดสอบเมทริกซ์ที่มีการดำเนินการทดสอบเพียง 4 ครั้ง
ซึ่งจะนำคุณไปยังรายการเมตริกการทดสอบสําหรับแอป ซึ่งคุณสามารถคลิกชื่อเมตริกการทดสอบเพื่อดูผลการทดสอบเมตริก และคลิกชื่อแอป (แสดงในกล่องสีแดงด้านล่าง) เพื่อดูรายการเมตริกการทดสอบสําหรับแอปอื่นๆ ที่เชื่อมโยงกับโปรเจ็กต์ Firebase
ตัวอย่างหน้ารายการตารางทดสอบ
เมทริกซ์การทดสอบอาจผ่าน ไม่ผ่าน หรือสรุปไม่ได้ ระบบจะแสดงเมทริกซ์การทดสอบว่าไม่สําเร็จหรือยังไม่ได้ข้อสรุปหากการทดสอบในเมทริกซ์นั้นไม่สําเร็จหรือยังไม่ได้ข้อสรุป
ตีความผลการทดสอบ Robo
หากคุณทำการทดสอบด้วย Robo ผลลัพธ์ของคุณจะมีวิดีโอและภาพหน้าจอของ Robo ทำการ Crawl UI ของคุณ นอกเหนือจากเมตริกการทดสอบปกติ วิดีโอและภาพหน้าจอเหล่านั้นจะมีภาพประกอบของการดำเนินการที่ Robo ดำเนินการระหว่างการ Crawl ซึ่งคล้ายกับฟีเจอร์ "แสดงการแตะ" ใน Android คุณสามารถใช้ตัวบ่งชี้เพื่อช่วยติดตามความคืบหน้าของ Robo และสร้างข้อบกพร่องที่พบซ้ำได้
ตัวอย่างวิดีโอผลการทดสอบ Robo
ตีความผลลัพธ์จากการดําเนินการทดสอบครั้งเดียว
จากหน้าผลการทดสอบเมทริกซ์ ให้คลิกการทดสอบใดการทดสอบหนึ่งเพื่อดูผลการทดสอบนั้น
ตัวอย่างหน้าผลการดําเนินการทดสอบ
ในหน้านี้ คุณจะเห็นเวลาที่ใช้ในการทดสอบแต่ละครั้ง นอกจากนี้ คุณยังดูผลลัพธ์สำหรับกรณีทดสอบที่เฉพาะเจาะจงซึ่งสอดคล้องกับเมธอดใน APK ทดสอบ (สำหรับการทดสอบเครื่องมือวัดประสิทธิภาพ) และผลการทดสอบโดยละเอียด รวมถึงบันทึกการทดสอบ ภาพหน้าจอ และวิดีโอได้ด้วย สําหรับการทดสอบ Robo ผลการทดสอบโดยละเอียดจะมีแผนที่กิจกรรมที่แสดงเส้นทาง UI ที่มีการเข้าชมจากการทดสอบ Robo ด้วย
ผลการทดสอบการใช้เครื่องมือที่มีการแบ่งพาร์ติชัน
Test Lab จะแยกการทดสอบแต่ละรายการออกเป็นหน้ารายงานแบบละเอียดของตัวเองพร้อมสแต็กเทรซ บันทึก และวิดีโอเพื่อช่วยคุณตีความผลการทดสอบที่มีเครื่องมือวัด ฟีเจอร์นี้ใช้งานได้ไม่ว่าคุณจะใช้ Android Orchestrator หรือไม่ก็ตาม
ตัวอย่างหน้าผลการทดสอบกรณีทดสอบ
ตีความผลลัพธ์การช่วยเหลือพิเศษ
การทดสอบ Robo ใช้เครื่องตรวจการช่วยเหลือพิเศษของ Android เพื่อตรวจหาปัญหาการช่วยเหลือพิเศษในแอป (โปรดทราบว่าคุณเรียกใช้การสแกนในเครื่องบนอุปกรณ์ได้ด้วย) ดูวิธีการตรวจสอบและตีความผลการทดสอบการช่วยเหลือพิเศษจากการทดสอบ Robo ได้ที่เริ่มต้นใช้งานเครื่องตรวจการเข้าถึง
ดูข้อมูลทั่วไปเกี่ยวกับวิธีปรับปรุงการช่วยเหลือพิเศษของแอปได้ที่เอกสารเกี่ยวกับการช่วยเหลือพิเศษโดยนักพัฒนาแอป Android
เมตริกประสิทธิภาพ
การทดสอบที่ทําในอุปกรณ์จริงจะแสดงเมตริกประสิทธิภาพด้วย
| เมตริก | การกำหนดค่าอุปกรณ์ที่จำเป็น |
|---|---|
| เวลาเริ่มต้นของแอป | API 19+ |
| การใช้งาน CPU | API 21 ปีขึ้นไป |
| การใช้งานหน่วยความจำ | |
| กิจกรรมในเครือข่าย | |
| เฟรมต่อวินาที | API 21 ขึ้นไปและมี SurfaceView |
ผลการทดสอบโดยละเอียด
ผลการทดสอบโดยละเอียดจะพร้อมใช้งานเป็นเวลา 90 วันหลังจากที่คุณทำการทดสอบ และระบบจะจัดเก็บไว้ในที่เก็บข้อมูล Google Cloud Storage (แต่จะดูได้ในคอนโซล Firebase ด้วย) คุณดูผลการทดสอบโดยละเอียดได้ในที่เก็บข้อมูล Cloud Storage เมื่อคลิกผลการทดสอบในหน้าผลการเรียกใช้การทดสอบ เมื่อผลการทดสอบแบบละเอียดไม่พร้อมใช้งานแล้ว คุณจะยังคงดูได้ว่าการทดสอบใดผ่านหรือไม่ผ่าน
หากต้องการเก็บผลลัพธ์การทดสอบแบบละเอียดไว้นานกว่า 90 วัน คุณต้องส่งผลลัพธ์การทดสอบเหล่านี้ไปยังที่เก็บข้อมูล Cloud Storage ที่คุณเป็นเจ้าของโดยใช้ตัวเลือกบรรทัดคำสั่ง --results-bucket ของ gcloud จากนั้นคุณสามารถตั้งค่าอายุเพื่อกำหนดระยะเวลาจัดเก็บผลลัพธ์ในที่เก็บข้อมูล Cloud Storage ดูข้อมูลเกี่ยวกับวิธีเปลี่ยนการตั้งค่าอายุได้ที่หัวข้อเงื่อนไขวงจร