คุณใช้ Firebase Test Lab เพื่อทำการทดสอบในแอป Android ได้หลายวิธี ไม่ว่าจะเป็นอินเทอร์เฟซบรรทัดคำสั่ง, Android Studio, UI ของ Test Lab ในคอนโซล Firebase และ Testing API ไม่ว่าคุณจะเลือกเริ่มการทดสอบด้วยวิธีใด ผลลัพธ์จะจัดเก็บไว้ในโปรเจ็กต์ Firebase ที่คุณระบุ คุณสามารถสำรวจผลลัพธ์โดยใช้ ToolResults API นอกเหนือจากเครื่องมือข้างต้น หน้านี้จะอธิบายวิธีตรวจสอบและวิเคราะห์ผลการทดสอบเหล่านี้
แนวคิดสําคัญ
หากต้องการดูผลลัพธ์จากการทดสอบก่อนหน้านี้ทั้งหมด ให้เลือก Test Lab ในแผงการนำทางด้านซ้ายของโปรเจ็กต์ในคอนโซล Firebase หน้านี้จะแสดงการทดสอบทั้งหมดจากแอปที่คุณทดสอบกับโปรเจ็กต์โดยใช้ Test Lab
หากต้องการดูผลการทดสอบ ก่อนอื่นคุณต้องเข้าใจแนวคิด 3 ประการต่อไปนี้
เมื่อคุณทำการทดสอบหรือชุดกรณีทดสอบกับอุปกรณ์และการกำหนดค่าที่เลือก Test Lab จะทำการทดสอบกับแอปของคุณเป็นกลุ่ม แล้วแสดงผลลัพธ์เป็นตารางทดสอบ
อุปกรณ์ × การเรียกใช้การทดสอบ = เมทริกซ์การทดสอบ
- อุปกรณ์
- อุปกรณ์จริงหรืออุปกรณ์เสมือน (Android เท่านั้น) ที่คุณทำการทดสอบ เช่น โทรศัพท์ แท็บเล็ต หรืออุปกรณ์ที่สวมใส่ได้ อุปกรณ์ในเมทริกซ์ทดสอบจะระบุตามรุ่นของอุปกรณ์ เวอร์ชันของระบบปฏิบัติการ การวางแนวหน้าจอ และภาษา (หรือที่เรียกว่าการตั้งค่าภูมิศาสตร์และภาษา)
- ทดสอบ ทดสอบการดำเนินการ
- การทดสอบ (หรือชุดเฟรมทดสอบ) ที่จะเรียกใช้บนอุปกรณ์ คุณสามารถเรียกใช้การทดสอบ 1 รายการต่ออุปกรณ์ หรือจะแบ่งการทดสอบและเรียกใช้ชุดทดสอบในอุปกรณ์ต่างๆ ก็ได้
- เมทริกซ์ทดสอบ
- มีสถานะและผลการทดสอบสําหรับการเรียกใช้การทดสอบ หากการเรียกใช้การทดสอบใดก็ตามในเมทริกซ์ไม่สําเร็จ เมทริกซ์ทั้งรายการจะดำเนินการไม่สําเร็จ
ส่วนต่อไปนี้จะอธิบายวิธีไปยังส่วนต่างๆ ของผลการทดสอบ
ตีความผลการทดสอบที่ผ่านมา
เมื่อไปที่ผลการทดสอบโดยเลือก Test Lab คุณจะเห็นผลการทดสอบที่ได้ทำจนถึงปัจจุบัน
ประวัติการทดสอบจะจัดกลุ่มตามแอป โดยจะแสดง 5 เมทริกซ์ล่าสุดเท่านั้นสำหรับแต่ละแอป หากมีข้อมูลมากกว่านี้ คุณสามารถคลิกลิงก์เมทริกซ์ทั้งหมดที่ด้านล่างของรายการทดสอบแอปเพื่อดูรายการทั้งหมดของแอปนั้นๆ
ตีความผลการทดสอบเมทริกซ์
เมื่อเริ่มการทดสอบผ่าน Test Lab UI ระบบจะเปลี่ยนเส้นทางคุณไปยังหน้าที่คุณสามารถดูเมทริกซ์การทดสอบและคลิกการเรียกใช้การทดสอบที่เฉพาะเจาะจงเพื่อดูผลการทดสอบ Android Studio และคําสั่ง gcloud มี URL สําหรับหน้าผลลัพธ์ของตารางทดสอบด้วย
ในตารางการทดสอบทั่วไป คุณอาจทำการทดสอบในอุปกรณ์ต่างๆ ประมาณ 12 เครื่อง การดำเนินการทดสอบแต่ละครั้งอาจให้ผลลัพธ์ที่แตกต่างกัน ผลลัพธ์ที่เป็นไปได้สำหรับการดำเนินการทดสอบในตารางทดสอบมีดังนี้
- ผ่าน : ไม่พบรายการที่ดำเนินการไม่สำเร็จ
- ไม่สำเร็จ : พบความล้มเหลวอย่างน้อย 1 รายการ
- สรุปไม่ได้ : ผลการทดสอบสรุปไม่ได้ ซึ่งอาจเป็นเพราะข้อผิดพลาด Test Lab
- ข้าม : ค่ามิติข้อมูลที่เลือกสำหรับการดำเนินการทดสอบบางรายการในเมทริกซ์ไม่สอดคล้องกัน กรณีนี้เกิดขึ้นเมื่ออุปกรณ์ที่คุณเลือกใช้ร่วมกับระดับ Android API อย่างน้อย 1 ระดับที่คุณเลือกไว้ไม่ได้
หากต้องการตรวจสอบผลการทดสอบแบบรวมสำหรับเมทริกซ์การทดสอบทั้งหมดของแอปหนึ่งๆ ในโปรเจ็กต์ Firebase ให้คลิกชื่อแอปดังที่แสดงในตัวอย่างต่อไปนี้
ตัวอย่างหน้าผลการค้นหาของเมทริกซ์ทดสอบที่มีการดำเนินการทดสอบเพียง 4 รายการ
ซึ่งจะนำคุณไปยังรายการเมตริกการทดสอบสําหรับแอป ซึ่งคุณสามารถคลิกชื่อเมตริกการทดสอบเพื่อดูผลการทดสอบ และคลิกชื่อแอป (แสดงในกล่องสีแดงด้านล่าง) เพื่อดูรายการเมตริกการทดสอบสําหรับแอปอื่นๆ ที่เชื่อมโยงกับโปรเจ็กต์ Firebase
ตัวอย่างหน้ารายการเมทริกซ์ทดสอบ
เมทริกซ์การทดสอบอาจผ่าน ไม่ผ่าน หรือสรุปไม่ได้ เมทริกซ์ทดสอบจะแสดงว่าล้มเหลวหรือไม่มีผลสรุปแน่ชัด หากการดำเนินการทดสอบในเมทริกซ์ดังกล่าวล้มเหลวหรือไม่มีผลสรุปแน่ชัด
ตีความผลการทดสอบ Robo
หากคุณทำการทดสอบด้วย Robo ผลลัพธ์ของคุณจะมีวิดีโอและภาพหน้าจอของ Robo ทำการ Crawl UI ของคุณ นอกเหนือจากเมตริกการทดสอบปกติ วิดีโอและภาพหน้าจอดังกล่าวมีภาพบ่งชี้การดำเนินการที่ Robo ทำระหว่างการรวบรวมข้อมูล คล้ายกับฟีเจอร์ "แสดงการแตะ" ใน Android คุณสามารถใช้ตัวบ่งชี้เพื่อช่วยติดตามความคืบหน้าของ Robo และสร้างข้อบกพร่องที่พบซ้ำได้
ตัวอย่างวิดีโอผลการทดสอบ Robo
ตีความผลลัพธ์จากการดำเนินการทดสอบเดียว
จากหน้าผลการทดสอบตารางเมทริกซ์ ให้คลิกการทดสอบใดการทดสอบหนึ่งเพื่อดูผลการทดสอบนั้นๆ
ตัวอย่างหน้าผลการดําเนินการทดสอบ
ในหน้านี้ คุณจะเห็นเวลาที่ใช้ในการทดสอบแต่ละครั้ง คุณยังจะเห็นผลลัพธ์ของกรอบการทดสอบที่เฉพาะเจาะจงที่สอดคล้องกับเมธอดใน APK การทดสอบ (สำหรับการทดสอบการใช้เครื่องมือ) และผลการทดสอบโดยละเอียด ซึ่งรวมถึงบันทึกการทดสอบ ภาพหน้าจอ และวิดีโอ สําหรับการทดสอบ Robo ผลการทดสอบโดยละเอียดจะมีแผนที่กิจกรรมที่แสดงเส้นทาง UI ที่มีการเข้าชมจากการทดสอบ Robo ด้วย
ผลการทดสอบการใช้เครื่องมือที่มีการแบ่งพาร์ติชัน
Test Lab จะแยกการทดสอบแต่ละรายการเป็นหน้ารายงานแบบละเอียดของตัวเองพร้อมสแต็กเทรซ บันทึก และวิดีโอเพื่อช่วยคุณตีความผลการทดสอบที่มีเครื่องมือวัด ฟีเจอร์นี้ใช้งานได้ไม่ว่าคุณจะใช้ Android Orchestrator หรือไม่ก็ตาม
ตัวอย่างหน้าผลการทดสอบกรณีทดสอบ
ตีความผลลัพธ์การช่วยเหลือพิเศษ
การทดสอบ Robo ใช้เครื่องตรวจการช่วยเหลือพิเศษของ Android เพื่อตรวจหาปัญหาการช่วยเหลือพิเศษในแอป (โปรดทราบว่าคุณเรียกใช้การสแกนบนอุปกรณ์ของคุณเองได้ด้วย) ดูวิธีการตรวจสอบและตีความผลการทดสอบการช่วยเหลือพิเศษจากการทดสอบ Robo ได้ที่เริ่มต้นใช้งานเครื่องตรวจการเข้าถึง
ดูข้อมูลทั่วไปเกี่ยวกับวิธีปรับปรุงการช่วยเหลือพิเศษของแอปได้ที่เอกสารเกี่ยวกับการช่วยเหลือพิเศษโดยนักพัฒนาแอป Android
เมตริกประสิทธิภาพ
การทดสอบที่ทําในอุปกรณ์จริงจะแสดงเมตริกประสิทธิภาพด้วย
เมตริก | การกำหนดค่าอุปกรณ์ที่จำเป็น |
---|---|
เวลาเริ่มต้นของแอป | API 19 ขึ้นไป |
การใช้งาน CPU | API 21 ปีขึ้นไป |
การใช้งานหน่วยความจำ | |
กิจกรรมในเครือข่าย | |
เฟรมต่อวินาที | API 21 ขึ้นไปและมี SurfaceView |
ผลการทดสอบแบบละเอียด
ผลการทดสอบโดยละเอียดจะพร้อมใช้งานเป็นเวลา 90 วันหลังจากทำการทดสอบและจัดเก็บไว้ในที่เก็บข้อมูล Google Cloud Storage (แต่จะแสดงในคอนโซล Firebase ด้วย) คุณดูผลการทดสอบโดยละเอียดในที่เก็บข้อมูล Cloud Storage ได้โดยคลิกทดสอบผลการทดสอบในหน้าผลลัพธ์ของการดำเนินการทดสอบ เมื่อผลการทดสอบแบบละเอียดไม่พร้อมใช้งานแล้ว คุณจะยังคงดูได้ว่าการทดสอบใดผ่านหรือไม่ผ่าน
หากต้องการเก็บรักษาผลการทดสอบโดยละเอียดไว้นานกว่า 90 วัน คุณต้องส่งผลการทดสอบเหล่านี้ไปยังที่เก็บข้อมูล Cloud Storage ที่คุณเป็นเจ้าของโดยใช้ตัวเลือกบรรทัดคำสั่ง gcloud ของ --results-bucket จากนั้นคุณสามารถตั้งค่าอายุเพื่อกำหนดระยะเวลาจัดเก็บผลลัพธ์ในที่เก็บข้อมูล Cloud Storage ดูข้อมูลเกี่ยวกับวิธีเปลี่ยนการตั้งค่าอายุได้ที่หัวข้อเงื่อนไขวงจร