วิเคราะห์ผลลัพธ์ของ Firebase Test Lab

คุณใช้ Firebase Test Lab เพื่อทำการทดสอบในแอป Android ได้หลายวิธี ไม่ว่าจะเป็นอินเทอร์เฟซบรรทัดคำสั่ง, Android Studio, UI ของ Test Lab ในคอนโซล Firebase และ Testing API ไม่ว่าคุณจะเลือกเริ่มการทดสอบด้วยวิธีใด ผลลัพธ์จะจัดเก็บไว้ในโปรเจ็กต์ Firebase ที่คุณระบุ คุณสามารถสำรวจผลลัพธ์โดยใช้ ToolResults API นอกเหนือจากเครื่องมือข้างต้น หน้านี้จะอธิบายวิธีตรวจสอบและวิเคราะห์ผลการทดสอบเหล่านี้

แนวคิดสําคัญ

หากต้องการดูผลลัพธ์จากการทดสอบก่อนหน้านี้ทั้งหมด ให้เลือก Test Lab ในแผงการนำทางด้านซ้ายของโปรเจ็กต์ในคอนโซล Firebase หน้านี้จะแสดงการทดสอบทั้งหมดจากแอปที่คุณทดสอบกับโปรเจ็กต์โดยใช้ Test Lab

หากต้องการดูผลการทดสอบ ก่อนอื่นคุณต้องเข้าใจแนวคิด 3 ประการต่อไปนี้

เมื่อคุณทำการทดสอบหรือชุดกรณีทดสอบกับอุปกรณ์และการกำหนดค่าที่เลือก Test Lab จะทำการทดสอบกับแอปของคุณเป็นกลุ่ม แล้วแสดงผลลัพธ์เป็นตารางทดสอบ

อุปกรณ์ × การเรียกใช้การทดสอบ = เมทริกซ์การทดสอบ

อุปกรณ์
อุปกรณ์จริงหรืออุปกรณ์เสมือน (Android เท่านั้น) ที่คุณทำการทดสอบ เช่น โทรศัพท์ แท็บเล็ต หรืออุปกรณ์ที่สวมใส่ได้ อุปกรณ์ในเมทริกซ์ทดสอบจะระบุตามรุ่นของอุปกรณ์ เวอร์ชันของระบบปฏิบัติการ การวางแนวหน้าจอ และภาษา (หรือที่เรียกว่าการตั้งค่าภูมิศาสตร์และภาษา)
ทดสอบ ทดสอบการดำเนินการ
การทดสอบ (หรือชุดเฟรมทดสอบ) ที่จะเรียกใช้บนอุปกรณ์ คุณสามารถเรียกใช้การทดสอบ 1 รายการต่ออุปกรณ์ หรือจะแบ่งการทดสอบและเรียกใช้ชุดทดสอบในอุปกรณ์ต่างๆ ก็ได้
เมทริกซ์ทดสอบ
มีสถานะและผลการทดสอบสําหรับการเรียกใช้การทดสอบ หากการเรียกใช้การทดสอบใดก็ตามในเมทริกซ์ไม่สําเร็จ เมทริกซ์ทั้งรายการจะดำเนินการไม่สําเร็จ

ส่วนต่อไปนี้จะอธิบายวิธีไปยังส่วนต่างๆ ของผลการทดสอบ

ตีความผลการทดสอบที่ผ่านมา

เมื่อไปที่ผลการทดสอบโดยเลือก Test Lab คุณจะเห็นผลการทดสอบที่ได้ทำจนถึงปัจจุบัน

ประวัติการทดสอบจะจัดกลุ่มตามแอป โดยจะแสดง 5 เมทริกซ์ล่าสุดเท่านั้นสำหรับแต่ละแอป หากมีข้อมูลมากกว่านี้ คุณสามารถคลิกลิงก์เมทริกซ์ทั้งหมดที่ด้านล่างของรายการทดสอบแอปเพื่อดูรายการทั้งหมดของแอปนั้นๆ

ตีความผลการทดสอบเมทริกซ์

เมื่อเริ่มการทดสอบผ่าน Test Lab UI ระบบจะเปลี่ยนเส้นทางคุณไปยังหน้าที่คุณสามารถดูเมทริกซ์การทดสอบและคลิกการเรียกใช้การทดสอบที่เฉพาะเจาะจงเพื่อดูผลการทดสอบ Android Studio และคําสั่ง gcloud มี URL สําหรับหน้าผลลัพธ์ของตารางทดสอบด้วย

ในตารางการทดสอบทั่วไป คุณอาจทำการทดสอบในอุปกรณ์ต่างๆ ประมาณ 12 เครื่อง การดำเนินการทดสอบแต่ละครั้งอาจให้ผลลัพธ์ที่แตกต่างกัน ผลลัพธ์ที่เป็นไปได้สำหรับการดำเนินการทดสอบในตารางทดสอบมีดังนี้

  • ผ่าน ทดสอบผ่าน: ไม่พบรายการที่ดำเนินการไม่สำเร็จ
  • ไม่สำเร็จ การทดสอบล้มเหลว: พบความล้มเหลวอย่างน้อย 1 รายการ
  • สรุปไม่ได้ ทดสอบผ่าน: ผลการทดสอบสรุปไม่ได้ ซึ่งอาจเป็นเพราะข้อผิดพลาด Test Lab
  • ข้าม ผ่านการทดสอบ: ค่ามิติข้อมูลที่เลือกสำหรับการดำเนินการทดสอบบางรายการในเมทริกซ์ไม่สอดคล้องกัน กรณีนี้เกิดขึ้นเมื่ออุปกรณ์ที่คุณเลือกใช้ร่วมกับระดับ Android API อย่างน้อย 1 ระดับที่คุณเลือกไว้ไม่ได้

หากต้องการตรวจสอบผลการทดสอบแบบรวมสำหรับเมทริกซ์การทดสอบทั้งหมดของแอปหนึ่งๆ ในโปรเจ็กต์ Firebase ให้คลิกชื่อแอปดังที่แสดงในตัวอย่างต่อไปนี้

ตัวอย่างหน้าผลการค้นหาของเมทริกซ์ทดสอบที่มีการดำเนินการทดสอบเพียง 4 รายการ ผลการทดสอบเมทริกซ์

ซึ่งจะนำคุณไปยังรายการเมตริกการทดสอบสําหรับแอป ซึ่งคุณสามารถคลิกชื่อเมตริกการทดสอบเพื่อดูผลการทดสอบ และคลิกชื่อแอป (แสดงในกล่องสีแดงด้านล่าง) เพื่อดูรายการเมตริกการทดสอบสําหรับแอปอื่นๆ ที่เชื่อมโยงกับโปรเจ็กต์ Firebase

ตัวอย่างหน้ารายการเมทริกซ์ทดสอบ รายการเมทริกซ์ทดสอบ

เมทริกซ์การทดสอบอาจผ่าน ไม่ผ่าน หรือสรุปไม่ได้ เมทริกซ์ทดสอบจะแสดงว่าล้มเหลวหรือไม่มีผลสรุปแน่ชัด หากการดำเนินการทดสอบในเมทริกซ์ดังกล่าวล้มเหลวหรือไม่มีผลสรุปแน่ชัด

ตีความผลการทดสอบ Robo

หากคุณทำการทดสอบด้วย Robo ผลลัพธ์ของคุณจะมีวิดีโอและภาพหน้าจอของ Robo ทำการ Crawl UI ของคุณ นอกเหนือจากเมตริกการทดสอบปกติ วิดีโอและภาพหน้าจอดังกล่าวมีภาพบ่งชี้การดำเนินการที่ Robo ทำระหว่างการรวบรวมข้อมูล คล้ายกับฟีเจอร์ "แสดงการแตะ" ใน Android คุณสามารถใช้ตัวบ่งชี้เพื่อช่วยติดตามความคืบหน้าของ Robo และสร้างข้อบกพร่องที่พบซ้ำได้

ตัวอย่างวิดีโอผลการทดสอบ Robo

ผลการทดสอบ Robo

ตีความผลลัพธ์จากการดำเนินการทดสอบเดียว

จากหน้าผลการทดสอบตารางเมทริกซ์ ให้คลิกการทดสอบใดการทดสอบหนึ่งเพื่อดูผลการทดสอบนั้นๆ

ตัวอย่างหน้าผลการดําเนินการทดสอบ ผลการทดสอบการดำเนินการ

ในหน้านี้ คุณจะเห็นเวลาที่ใช้ในการทดสอบแต่ละครั้ง คุณยังจะเห็นผลลัพธ์ของกรอบการทดสอบที่เฉพาะเจาะจงที่สอดคล้องกับเมธอดใน APK การทดสอบ (สำหรับการทดสอบการใช้เครื่องมือ) และผลการทดสอบโดยละเอียด ซึ่งรวมถึงบันทึกการทดสอบ ภาพหน้าจอ และวิดีโอ สําหรับการทดสอบ Robo ผลการทดสอบโดยละเอียดจะมีแผนที่กิจกรรมที่แสดงเส้นทาง UI ที่มีการเข้าชมจากการทดสอบ Robo ด้วย

ผลการทดสอบการใช้เครื่องมือที่มีการแบ่งพาร์ติชัน

Test Lab จะแยกการทดสอบแต่ละรายการเป็นหน้ารายงานแบบละเอียดของตัวเองพร้อมสแต็กเทรซ บันทึก และวิดีโอเพื่อช่วยคุณตีความผลการทดสอบที่มีเครื่องมือวัด ฟีเจอร์นี้ใช้งานได้ไม่ว่าคุณจะใช้ Android Orchestrator หรือไม่ก็ตาม

ตัวอย่างหน้าผลการทดสอบกรณีทดสอบ ผลการทดสอบ

ตีความผลลัพธ์การช่วยเหลือพิเศษ

การทดสอบ Robo ใช้เครื่องตรวจการช่วยเหลือพิเศษของ Android เพื่อตรวจหาปัญหาการช่วยเหลือพิเศษในแอป (โปรดทราบว่าคุณเรียกใช้การสแกนบนอุปกรณ์ของคุณเองได้ด้วย) ดูวิธีการตรวจสอบและตีความผลการทดสอบการช่วยเหลือพิเศษจากการทดสอบ Robo ได้ที่เริ่มต้นใช้งานเครื่องตรวจการเข้าถึง

ดูข้อมูลทั่วไปเกี่ยวกับวิธีปรับปรุงการช่วยเหลือพิเศษของแอปได้ที่เอกสารเกี่ยวกับการช่วยเหลือพิเศษโดยนักพัฒนาแอป Android

เมตริกประสิทธิภาพ

การทดสอบที่ทําในอุปกรณ์จริงจะแสดงเมตริกประสิทธิภาพด้วย

เมตริกการกำหนดค่าอุปกรณ์ที่จำเป็น
เวลาเริ่มต้นของแอปAPI 19 ขึ้นไป
การใช้งาน CPUAPI 21 ปีขึ้นไป
การใช้งานหน่วยความจำ
กิจกรรมในเครือข่าย
เฟรมต่อวินาทีAPI 21 ขึ้นไปและมี SurfaceView

ผลการทดสอบแบบละเอียด

ผลการทดสอบโดยละเอียดจะพร้อมใช้งานเป็นเวลา 90 วันหลังจากทำการทดสอบและจัดเก็บไว้ในที่เก็บข้อมูล Google Cloud Storage (แต่จะแสดงในคอนโซล Firebase ด้วย) คุณดูผลการทดสอบโดยละเอียดในที่เก็บข้อมูล Cloud Storage ได้โดยคลิกทดสอบผลการทดสอบในหน้าผลลัพธ์ของการดำเนินการทดสอบ เมื่อผลการทดสอบแบบละเอียดไม่พร้อมใช้งานแล้ว คุณจะยังคงดูได้ว่าการทดสอบใดผ่านหรือไม่ผ่าน

หากต้องการเก็บรักษาผลการทดสอบโดยละเอียดไว้นานกว่า 90 วัน คุณต้องส่งผลการทดสอบเหล่านี้ไปยังที่เก็บข้อมูล Cloud Storage ที่คุณเป็นเจ้าของโดยใช้ตัวเลือกบรรทัดคำสั่ง gcloud ของ --results-bucket จากนั้นคุณสามารถตั้งค่าอายุเพื่อกำหนดระยะเวลาจัดเก็บผลลัพธ์ในที่เก็บข้อมูล Cloud Storage ดูข้อมูลเกี่ยวกับวิธีเปลี่ยนการตั้งค่าอายุได้ที่หัวข้อเงื่อนไขวงจร