การแก้ปัญหา Test Lab คำถามที่พบบ่อย

เหตุใดการทดสอบจึงใช้เวลานาน

เมื่อเลือกอุปกรณ์ที่มีระดับความจุสูงในTest Labแคตตาล็อก การทดสอบอาจเริ่มต้นเร็วขึ้น เมื่ออุปกรณ์มีความจุต่ำ การทดสอบอาจใช้เวลานานขึ้น หากจำนวนการทดสอบที่เรียกใช้มากกว่าความจุของอุปกรณ์ที่เลือก การทดสอบอาจใช้เวลานานขึ้น

การทดสอบที่ทำงานในระดับความจุของอุปกรณ์ทุกระดับอาจใช้เวลานานกว่าปกติเนื่องด้วยปัจจัยต่อไปนี้

• การรับส่งข้อมูล ซึ่งจะส่งผลต่อความพร้อมใช้งานของอุปกรณ์และความเร็วในการทดสอบ
• อุปกรณ์หรือโครงสร้างพื้นฐานขัดข้อง ซึ่งอาจเกิดขึ้นได้ทุกเมื่อ หากต้องการตรวจสอบว่ามีโครงสร้างพื้นฐานที่รายงานสำหรับ Test Lab หรือไม่ ให้ดูแดชบอร์ดสถานะ Firebase

ดูข้อมูลเพิ่มเติมเกี่ยวกับความจุของอุปกรณ์ใน Test Lab ได้ที่ข้อมูลความจุของอุปกรณ์สำหรับ Android และ iOS

เหตุใดฉันจึงได้รับผลการทดสอบที่ไม่มีผลสรุปที่แน่ชัด

ผลการทดสอบที่สรุปไม่ได้มักเกิดขึ้นเนื่องจากการทดสอบถูกยกเลิกหรือข้อผิดพลาดด้านโครงสร้างพื้นฐาน

ข้อผิดพลาดเกี่ยวกับโครงสร้างพื้นฐานเกิดจากปัญหาTest Labภายใน เช่น ข้อผิดพลาดเกี่ยวกับเครือข่ายหรือลักษณะการทํางานของอุปกรณ์ที่ไม่คาดคิด Test Lab ภายในจะเลิกใช้การทดสอบซึ่งทำให้เกิดข้อผิดพลาดของโครงสร้างพื้นฐานหลายครั้งก่อนรายงานผลลัพธ์ที่สรุปไม่ได้ แต่คุณปิดใช้การดำเนินการซ้ำเหล่านี้ได้โดยใช้ failFast

หากต้องการระบุสาเหตุของข้อผิดพลาด ให้ทำตามขั้นตอนต่อไปนี้

1. ตรวจสอบการหยุดทำงานที่ทราบในแดชบอร์ดสถานะ Firebase

2. ทดสอบอีกครั้งใน Test Lab เพื่อยืนยันว่าปัญหาเกิดขึ้นซ้ำได้

3. ลองทำการทดสอบในอุปกรณ์หรือประเภทอุปกรณ์อื่น (หากมี)

หากยังพบปัญหาอยู่ โปรดติดต่อทีม Test Lab ในช่อง #test-lab บน Firebase Slack

ทำไมการชาร์ดจึงทำให้การทดสอบ ใช้เวลานานขึ้น

การจัดกลุ่มอาจทําให้การทดสอบใช้เวลานานขึ้นเมื่อจํานวนกลุ่มที่คุณระบุมากกว่าจํานวนอุปกรณ์ที่ใช้ได้ใน Test Lab หากต้องการหลีกเลี่ยงสถานการณ์นี้ ให้ลองเปลี่ยนไปใช้อุปกรณ์อื่น ดูข้อมูลเพิ่มเติมเกี่ยวกับการเลือกอุปกรณ์อื่นได้ที่ ความจุของอุปกรณ์

ทำไมการทดสอบจึงใช้เวลานาน

เมื่อคุณส่งคำขอทดสอบ ระบบจะตรวจสอบแอป ลงชื่อแอปอีกครั้ง ฯลฯ ก่อนเพื่อเตรียมพร้อมสำหรับการทดสอบบนอุปกรณ์ โดยทั่วไปขั้นตอนนี้จะใช้เวลาไม่ถึง 2-3 วินาที แต่อาจได้รับผลกระทบจากปัจจัยต่างๆ เช่น ขนาดของแอป

หลังจากเตรียมแอปแล้ว ระบบจะกำหนดเวลาการเรียกใช้การทดสอบและจัดคิวไว้จนกว่าอุปกรณ์จะพร้อมเรียกใช้ สถานะของเมทริกซ์จะยังคงเป็น "รอดําเนินการ" จนกว่าการเรียกใช้การทดสอบทั้งหมดจะเสร็จสมบูรณ์ (ไม่ว่าจะอยู่ในคิวหรือกําลังทํางานอยู่ก็ตาม)

เหตุใดการทดสอบจึงใช้เวลานาน

หลังจากการดําเนินการทดสอบเสร็จสิ้น ระบบจะดาวน์โหลดอาร์ติแฟกต์การทดสอบจากอุปกรณ์ ประมวลผล และอัปโหลดไปยัง Cloud Storage ระยะเวลาของขั้นตอนนี้อาจขึ้นอยู่กับจํานวนและความของอาร์ติแฟกต์

โควต้าที่ไม่มีค่าใช้จ่ายสำหรับ Test Lab คืออะไร ฉันควรทำอย่างไรหากใช้สิทธิ์หมด

Firebase Test Lab มีโควต้าที่ไม่มีค่าใช้จ่ายสำหรับการทดสอบบนอุปกรณ์และการใช้ Cloud API โปรดทราบว่าโควต้าการทดสอบจะใช้แพ็กเกจราคา Firebase มาตรฐาน ส่วนโควต้า Cloud API จะไม่ใช้

• โควต้าการทดสอบ

  โควต้าการทดสอบจะกำหนดโดยจำนวนอุปกรณ์ที่ใช้ทำการทดสอบ แพ็กเกจ Firebase Spark มีโควต้าการทดสอบแบบคงที่โดยไม่มีค่าใช้จ่ายสำหรับผู้ใช้ โควต้าสำหรับแพ็กเกจ Blaze อาจเพิ่มขึ้นหากการใช้งาน Google Cloud เพิ่มขึ้นเมื่อเวลาผ่านไป หากใช้โควต้าการทดสอบครบแล้ว โปรดรอจนถึงวันถัดไปหรืออัปเกรดเป็นแพ็กเกจ Blaze หากคุณใช้แพ็กเกจ Spark อยู่ หากใช้แพ็กเกจ Blaze อยู่แล้ว คุณจะขอเพิ่มโควต้าได้ ดูข้อมูลเพิ่มเติมได้ที่โควต้าการทดสอบ

  คุณสามารถตรวจสอบการใช้โควต้าการทดสอบได้ในคอนโซล Google Cloud

• โควต้า Cloud Testing API

  Cloud Testing API มาพร้อมโควต้า 2 รายการ ได้แก่ คำขอต่อวันต่อโปรเจ็กต์ และคำขอต่อทุก 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบการใช้งานได้ในคอนโซล Google Cloud

• โควต้า API ผลลัพธ์ของเครื่องมือระบบคลาวด์

  API ผลลัพธ์ของเครื่องมือระบบคลาวด์มาพร้อมกับขีดจำกัดโควต้า 2 ส่วน ได้แก่ คำค้นหาต่อวันต่อโปรเจ็กต์ และคำค้นหาต่อทุก 100 วินาทีต่อโปรเจ็กต์ โดยตรวจสอบการใช้งานได้ในคอนโซล Google Cloud

  ดูข้อมูลเพิ่มเติมเกี่ยวกับขีดจํากัดของ API ได้ที่โควต้า Cloud API สําหรับ Test Lab หากคุณใช้โควต้า API ถึงขีดจํากัดแล้ว ให้ทำดังนี้

  • ส่งคำขอโควต้าที่สูงขึ้นโดยแก้ไขโควต้าในคอนโซล Google Cloud โดยตรง (โปรดทราบว่าขีดจำกัดส่วนใหญ่จะตั้งค่าเป็นสูงสุดโดยค่าเริ่มต้น) หรือ

  • ขอโควต้า API ที่สูงขึ้นโดยกรอกแบบฟอร์มคำขอในคอนโซล Google Cloud หรือติดต่อทีมสนับสนุน Firebase

ฉันจะทราบได้อย่างไรว่าการเข้าชมที่เข้าถึงแบ็กเอนด์ของฉันมาจาก Test Lab

จากแบ็กเอนด์ คุณสามารถระบุได้ว่าการเข้าชมมาจากอุปกรณ์ทดสอบที่โฮสต์โดย Firebase หรือไม่โดยตรวจสอบที่อยู่ IP ต้นทางกับช่วง IP

Test Lab ใช้ร่วมกับ VPC-SC ได้ไหม

Test Lab ไม่ทำงานร่วมกับ VPC-SC ซึ่งบล็อกการคัดลอกแอปและรายการอื่นๆ ที่ใช้ทดสอบระหว่างพื้นที่เก็บข้อมูลภายในของ Test Lab กับที่เก็บข้อมูลผลลัพธ์ของผู้ใช้

ฉันจะตรวจหาการทดสอบที่ไม่เสถียรใน Test Lab ได้อย่างไร

หากต้องการตรวจหาลักษณะการทำงานที่ไม่เสถียรในการทดสอบ เราขอแนะนำให้ใช้ตัวเลือก --num-flaky-test-attempts ระบบจะเรียกเก็บเงินหรือนับการเรียกใช้ Deflake ซ้ำในโควต้ารายวันเช่นเดียวกับการเรียกใช้การทดสอบตามปกติ

โปรดทราบข้อมูลต่อไปนี้

• การดําเนินการทดสอบทั้งหมดจะทํางานอีกครั้งเมื่อตรวจพบความล้มเหลว ระบบไม่รองรับการลองทดสอบเฉพาะกรอบการทดสอบที่ล้มเหลวอีกครั้ง
• มีการกำหนดเวลาเรียกใช้การลองใหม่แบบ Deflake พร้อมกัน แต่ไม่รับประกันว่าจะทำงานพร้อมกัน เช่น เมื่อการรับส่งข้อมูลเกินจำนวนอุปกรณ์ที่พร้อมใช้งาน

Test Lab รองรับ Appium, Flutter/FlutterDriver, ReactNative/Jest หรือ Cucumber ไหม

แม้ว่าบางรายการเหล่านี้จะอยู่ในแผนของเรา แต่ปัจจุบันเราไม่สามารถให้คำมั่นสัญญาว่าจะรองรับแพลตฟอร์มการทดสอบและการพัฒนาแอปเหล่านี้

ฉันจะดูรายละเอียดของอุปกรณ์ เช่น ความละเอียด ได้จากที่ใด

ข้อมูลโดยละเอียดของอุปกรณ์จะพร้อมใช้งานผ่าน API และเข้าถึงได้จากไคลเอ็นต์ gcloud โดยใช้คำสั่ง describe

gcloud firebase test ios models describe MODEL

ฉันจะใช้การชาร์ดดิ้งกับการทดสอบ iOS ได้ไหม

Test Lab สำหรับ iOS ไม่รองรับการแยกกลุ่มโดยค่าเริ่มต้น แต่คุณสามารถใช้ไคลเอ็นต์ Flank เพื่อแบ่งกลุ่มกรณีทดสอบ iOS ได้

ซึ่งจะทํางานโดยการตั้งค่าคีย์และค่า OnlyTestIdentifiers ในไฟล์ .xctestrun ดูรายละเอียดเพิ่มเติมได้ในหน้า man สำหรับ xcodebuild.xctestrun

CAPTCHA การลงชื่อเข้าใช้

การทดสอบด้วยโรโบทไม่สามารถข้ามหน้าจอลงชื่อเข้าใช้ที่กําหนดให้ผู้ใช้ดําเนินการเพิ่มเติมนอกเหนือจากการป้อนข้อมูลเข้าสู่ระบบเพื่อลงชื่อเข้าใช้ เช่น การทํา CAPTCHA ให้เสร็จสมบูรณ์

การรองรับเฟรมเวิร์ก UI

การทดสอบ Robo ทำงานได้ดีที่สุดกับแอปที่ใช้องค์ประกอบ UI จากเฟรมเวิร์ก UI ของ Android (รวมถึงออบเจ็กต์ View, ViewGroup และ WebView) หากคุณใช้การทดสอบ Robo เพื่อทดสอบแอปที่ใช้เฟรมเวิร์ก UI อื่นๆ รวมถึงแอปที่ใช้เครื่องมือสร้างเกม Unity การทดสอบอาจออกโดยไม่สำรวจหน้าจอถัดไป