การแก้ปัญหา Test Lab คำถามที่พบบ่อย

เหตุใดการทดสอบของฉันจึงใช้เวลานานมาก

เมื่อคุณเลือกอุปกรณ์ที่มีระดับความจุสูงในTest Lab แคตตาล็อก การทดสอบอาจเริ่มเร็วขึ้น เมื่อ อุปกรณ์มีความจุต่ำ การทดสอบอาจใช้เวลานานขึ้น หากจำนวนการทดสอบที่เรียกใช้มากกว่าความจุของอุปกรณ์ที่เลือก การทดสอบอาจใช้เวลานานขึ้น

การทดสอบที่ดำเนินการในระดับความจุของอุปกรณ์ทุกระดับอาจใช้เวลานานกว่าเนื่องจาก ปัจจัยต่อไปนี้

• การรับส่งข้อมูล ซึ่งจะส่งผลต่อความพร้อมใช้งานของอุปกรณ์และความเร็วในการทดสอบ
• ความล้มเหลวของอุปกรณ์หรือโครงสร้างพื้นฐาน ซึ่งอาจเกิดขึ้นได้ได้ทุกเมื่อ หากต้องการตรวจสอบว่ามีโครงสร้างพื้นฐานที่รายงานสำหรับ Test Lab หรือไม่ ให้ดูแดชบอร์ดสถานะ Firebase

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับความจุของอุปกรณ์ในสกุลเงิน Test Lab โปรดดูความจุของอุปกรณ์ ข้อมูลสําหรับ Android และ iOS

ทำไมฉันจึงได้รับผลการทดสอบที่ไม่มีผลสรุปแน่ชัด

ผลการทดสอบที่ไม่มีผลสรุปแน่ชัดมักเกิดขึ้นจากการทดสอบที่ยกเลิก หรือข้อผิดพลาดด้านโครงสร้างพื้นฐาน

ข้อผิดพลาดเกี่ยวกับโครงสร้างพื้นฐานเกิดจากปัญหา Test Lab ภายใน เช่น เครือข่าย หรือลักษณะการทำงานที่ไม่คาดคิดของอุปกรณ์ Test Lab เลิกใช้งานการทดสอบเป็นการภายใน ที่ทำให้เกิดข้อผิดพลาดทางโครงสร้างพื้นฐานหลายครั้งก่อนที่จะรายงาน ไม่มีผลสรุปแน่ชัด อย่างไรก็ตาม คุณสามารถปิดใช้งานการพยายามครั้งนี้ได้โดยใช้ failFast

หากต้องการทราบสาเหตุของข้อผิดพลาด ให้ทำตามขั้นตอนต่อไปนี้

1. ตรวจสอบการหยุดทำงานที่ทราบใน หน้าแดชบอร์ดสถานะ Firebase

2. ทดสอบอีกครั้งใน Test Lab เพื่อยืนยันว่าปัญหาเกิดขึ้นซ้ำได้

3. ลองทำการทดสอบในอุปกรณ์หรืออุปกรณ์อื่น (หากมี)

หากยังพบปัญหาอยู่ โปรดติดต่อทีม Test Lab ใน เปิด #test-lab channel อยู่ Firebase Slack

ทำไมการชาร์ดจึงทำการทดสอบ นานขึ้นไหม

การจัดกลุ่มอาจทําให้การทดสอบใช้เวลานานขึ้นเมื่อจํานวนกลุ่มที่คุณระบุมากกว่าจํานวนอุปกรณ์ที่ใช้ได้ใน Test Lab ถึง ให้หลีกเลี่ยงสถานการณ์นี้ ลองเปลี่ยนไปใช้อุปกรณ์อื่น หากต้องการดูข้อมูลเพิ่มเติม เกี่ยวกับการเลือกอุปกรณ์อื่น ให้ดูที่ ความจุของอุปกรณ์

ทำไมอาจต้องใช้เวลานาน เพื่อเริ่มการทดสอบ

เมื่อคุณส่งคำขอทดสอบ ระบบจะตรวจสอบแอป ลงชื่อแอปอีกครั้ง ฯลฯ ก่อนเพื่อเตรียมพร้อมสำหรับการทดสอบบนอุปกรณ์ โดยปกติขั้นตอนนี้จะเสร็จสมบูรณ์ใน น้อยกว่า 2-3 วินาที แต่อาจได้รับผลกระทบจากปัจจัยต่างๆ เช่น ขนาด แอป

หลังจากเตรียมแอปเรียบร้อยแล้ว ระบบจะกำหนดเวลาการทดสอบและอยู่ในคิวต่อไป จนกว่าอุปกรณ์จะพร้อมใช้งาน จนกว่าการดำเนินการทดสอบทั้งหมดจะทำงานเสร็จสิ้น สถานะเมทริกซ์จะเป็น "รอดำเนินการ" (ไม่ว่าการดำเนินการทดสอบจะ อยู่ในคิวหรือกำลังทำงานอยู่)

ทำไมอาจต้องใช้เวลานาน เพื่อให้การทดสอบเสร็จสิ้น

หลังจากดำเนินการทดสอบเสร็จแล้ว ระบบจะดาวน์โหลดอาร์ติแฟกต์ทดสอบจาก อุปกรณ์ ประมวลผลและอัปโหลดไปยัง Cloud Storage แล้ว ระยะเวลาของขั้นตอนนี้สามารถ ได้รับผลกระทบจากจำนวนและขนาดของอาร์ติแฟกต์

โควต้าที่ไม่มีค่าใช้จ่ายคืออะไร สำหรับ Test Lab ใช่ไหม ฉันควรทำอย่างไรหากพื้นที่เก็บข้อมูลเต็ม

Firebase Test Lab เสนอโควต้าแบบไม่มีค่าใช้จ่ายสำหรับการทดสอบในอุปกรณ์และการใช้งาน Cloud APIs โปรดทราบว่าโควต้าการทดสอบจะใช้แพ็กเกจราคา Firebase มาตรฐาน ในขณะที่โควต้า Cloud API ไม่มี

• โควต้าการทดสอบ

  โควต้าการทดสอบจะกำหนดโดยจำนวนอุปกรณ์ที่ใช้ทำการทดสอบ แพ็กเกจ Firebase Spark มีโควต้าการทดสอบคงที่โดยไม่มีค่าใช้จ่ายสำหรับผู้ใช้ สำหรับแพ็กเกจ Blaze โควต้าอาจเพิ่มขึ้นหากการใช้งาน Google Cloud เพิ่มขึ้นเมื่อเวลาผ่านไป หากถึงโควต้าการทดสอบแล้ว ให้รอจนกว่าการทดสอบครั้งถัดไป หรืออัปเกรดเป็นแพ็กเกจ Blaze หากกำลังใช้แพ็กเกจ Spark อยู่ หากใช้แพ็กเกจ Blaze อยู่แล้ว คุณจะขอเพิ่มโควต้าได้ สำหรับข้อมูลเพิ่มเติม โปรดดู โควต้าการทดสอบ

  คุณสามารถตรวจสอบการใช้โควต้าการทดสอบได้ในคอนโซล Google Cloud

• โควต้า Cloud Testing API

  Cloud Testing API มีการจํากัดโควต้า 2 รายการ ได้แก่ คําขอต่อวันต่อ และคำขอต่อทุก 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบ ใน คอนโซล Google Cloud

• โควต้า API ผลลัพธ์ของเครื่องมือระบบคลาวด์

  Cloud Tool Results API มาพร้อมกับขีดจำกัดโควต้า 2 แบบ ได้แก่ จำนวนคำค้นหาต่อวันต่อ และคำค้นหาต่อโปรเจ็กต์ทุก 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบ ใน คอนโซล Google Cloud

  โปรดดูโควต้า Cloud API สำหรับ Test Lab สำหรับข้อมูลเพิ่มเติมเกี่ยวกับขีดจำกัดของ API หากคุณมี API ถึงโควต้าแล้ว ให้ทำดังนี้

  • โปรดส่งคำขอสำหรับโควต้าที่สูงขึ้นภายในวันที่ การแก้ไขโควต้า ในคอนโซล Google Cloud โดยตรง (โปรดทราบว่าขีดจำกัดส่วนใหญ่กำหนดไว้ที่ สูงสุดโดยค่าเริ่มต้น) หรือ

  • ขอโควต้า API ที่สูงขึ้นโดยกรอกแบบฟอร์มคำขอในGoogle Cloudคอนโซล หรือติดต่อทีมสนับสนุน Firebase

ฉันจะทราบได้อย่างไรว่า การรับส่งข้อมูลที่เข้าถึงแบ็กเอนด์ของฉันมาจาก Test Lab ใช่ไหม

จากแบ็กเอนด์ คุณสามารถระบุได้ว่าการรับส่งข้อมูลมาจากอุปกรณ์ทดสอบที่โฮสต์โดย Firebase หรือไม่โดยตรวจสอบที่อยู่ IP ต้นทางกับช่วง IP

Test Lab ใช้ได้กับ มี VPC-SC ไหม

Test Lab ไม่ทำงานกับ VPC-SC ซึ่งจะบล็อก การคัดลอกแอปและอาร์ติแฟกต์การทดสอบอื่นๆ ระหว่างแอปภายในของ Test Lab พื้นที่เก็บข้อมูลและผู้ใช้ กลุ่มผลลัพธ์

ฉันจะตรวจหาการทดสอบที่ไม่เสถียรใน Test Lab ได้อย่างไร

หากต้องการตรวจจับลักษณะการทำงานที่ไม่สม่ำเสมอในการทดสอบ เราขอแนะนำให้ใช้ --จำนวน-จำนวนครั้งที่ไม่สม่ำเสมอ-การทดสอบ-attempts ตัวเลือก ดีเฟลกซ้ำจะมีการเรียกเก็บเงินหรือนับรวมในโควต้ารายวันของคุณเช่นเดียวกับ การดำเนินการทดสอบปกติ

โปรดทราบข้อมูลต่อไปนี้

• การดำเนินการทดสอบทั้งหมดจะทำงานอีกครั้งเมื่อตรวจพบความล้มเหลว ไม่มี รองรับการลองใหม่เฉพาะกรอบการทดสอบที่ไม่สำเร็จ
• ระบบจะกำหนดเวลาให้การดำเนินการลองอีกครั้งเพื่อจัดเก็บข้อมูลแบบไม่แผ่กระจายทำงานพร้อมกัน แต่ไม่ได้รับประกันว่าจะทำงานพร้อมกัน เช่น เมื่อปริมาณการเข้าชมมากกว่าจำนวนอุปกรณ์ที่ใช้ได้

Test Lab รองรับไหม Appium, Flutter/FlutterDriver, ReactNative/Jest หรือแตงกวา

แม้ว่าจะมีบางรายการอยู่ในแผนกลยุทธ์ของเรา แต่ในขณะนี้เราไม่สามารถให้ ที่จะสนับสนุนแพลตฟอร์มการทดสอบและการพัฒนาแอปเหล่านี้

ฉันจะดูรายละเอียดของอุปกรณ์ เช่น ความละเอียด ได้จากที่ใด

ข้อมูลอุปกรณ์โดยละเอียดจะมีให้ผ่านทาง API และสามารถเข้าถึงได้ จากไคลเอ็นต์ gcloud โดยใช้แอตทริบิวต์ อธิบายคำสั่ง ดังนี้

gcloud firebase test ios models describe MODEL

ฉันจะใช้การแยกกลุ่มกับทดสอบ iOS ได้ไหม

Test Lab สำหรับ iOS ไม่รองรับการแยกกลุ่มโดยค่าเริ่มต้น อย่างไรก็ตาม คุณสามารถ ใช้ไคลเอ็นต์ Flank เพื่อชาร์ดเคสทดสอบของ iOS

ซึ่งทำงานโดยการตั้งค่าคีย์และค่า OnlyTestIdentifiers ในไฟล์ .xctestrun ดูหน้า man สำหรับ xcodebuild.xctestrun สำหรับรายละเอียดเพิ่มเติม

Captcha สำหรับการลงชื่อเข้าใช้

การทดสอบ Robo ไม่สามารถข้ามหน้าจอลงชื่อเข้าใช้ที่ต้องใช้ การดำเนินการเพิ่มเติมของผู้ใช้นอกเหนือจากการป้อนข้อมูลเข้าสู่ระบบเพื่อลงชื่อเข้าใช้ เช่น ป้อน CAPTCHA

การรองรับเฟรมเวิร์ก UI

การทดสอบ Robo ได้ผลดีที่สุดกับแอปที่ใช้องค์ประกอบ UI จากเฟรมเวิร์ก UI ของ Android (รวมถึงออบเจ็กต์ View, ViewGroup และ WebView) หากคุณใช้การทดสอบ Robo เพื่อใช้งานแอปที่ใช้ UI อื่น เฟรมเวิร์ก เช่น แอปที่ใช้เครื่องมือเกมของ Unity อาจทำให้การทดสอบสิ้นสุดลง โดยไม่ต้องสำรวจไปไกลกว่าหน้าจอแรก