การแก้ไขปัญหา Test Lab และคำถามที่พบบ่อย

ทำไมการทดสอบของฉันจึงใช้เวลานานมาก

เมื่อคุณเลือกอุปกรณ์ที่มีระดับความจุสูงในแค็ตตาล็อก Test Lab การทดสอบอาจเริ่มเร็วขึ้น เมื่ออุปกรณ์มีความจุต่ำ การทดสอบอาจใช้เวลานานขึ้น หากจำนวนการทดสอบที่เรียกใช้มีมากกว่าความจุของอุปกรณ์ที่เลือกมาก การทดสอบอาจใช้เวลานานกว่าจะเสร็จสิ้น

การทดสอบที่ทำงานในระดับความจุของอุปกรณ์ระดับใดก็ตามอาจใช้เวลานานขึ้นเนื่องจากปัจจัยต่อไปนี้:

• การรับส่งข้อมูลซึ่งส่งผลต่อความพร้อมใช้งานของอุปกรณ์และความเร็วในการทดสอบ
• ความล้มเหลวของอุปกรณ์หรือโครงสร้างพื้นฐาน ซึ่งอาจเกิดขึ้นได้ตลอดเวลา หากต้องการตรวจสอบว่ามีโครงสร้างพื้นฐานที่รายงานสำหรับ Test Lab หรือไม่ โปรดดู แดชบอร์ดสถานะของ Firebase

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับความจุของอุปกรณ์ใน Test Lab โปรดดูข้อมูลความจุของอุปกรณ์สำหรับ Android และ iOS

เหตุใดฉันจึงได้รับผลการทดสอบที่สรุปไม่ได้

ผลการทดสอบที่สรุปไม่ได้มักเกิดขึ้นเนื่องจากการรันการทดสอบที่ถูกยกเลิกหรือข้อผิดพลาดของโครงสร้างพื้นฐาน

ข้อผิดพลาดของโครงสร้างพื้นฐานเกิดจากปัญหาภายในของ Test Lab เช่น ข้อผิดพลาดของเครือข่ายหรือพฤติกรรมของอุปกรณ์ที่ไม่คาดคิด Test Lab เลิกใช้การทดสอบเป็นการภายในซึ่งสร้างข้อผิดพลาดของโครงสร้างพื้นฐานหลายครั้งก่อนที่จะรายงานผลที่สรุปไม่ได้ อย่างไรก็ตาม คุณสามารถปิดใช้งานการลองใหม่เหล่านี้ได้โดยใช้ failFast

เมื่อต้องการระบุสาเหตุของข้อผิดพลาด ให้ทำตามขั้นตอนเหล่านี้:

1. ตรวจสอบการหยุดชะงักที่ทราบใน แดชบอร์ดสถานะ Firebase

2. ลองทดสอบอีกครั้งใน Test Lab เพื่อยืนยันว่าทำซ้ำได้

3. ลองใช้การทดสอบบนอุปกรณ์หรือประเภทอุปกรณ์อื่น หากมี

หากปัญหายังคงอยู่ ให้ติดต่อทีม Test Lab ใน ช่องทาง #test-lab บน Firebase Slack

เหตุใดการแบ่งส่วนย่อยจึงทำให้การทดสอบของฉันทำงานได้นานขึ้น

การแบ่งชิ้นส่วนอาจทำให้การทดสอบของคุณทำงานนานขึ้นเมื่อจำนวนชิ้นส่วนที่คุณระบุเกินจำนวนอุปกรณ์ที่พร้อมใช้งานใน Test Lab เพื่อหลีกเลี่ยงสถานการณ์นี้ ให้ลองเปลี่ยนไปใช้อุปกรณ์อื่น สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการเลือกอุปกรณ์อื่น ดูที่ความจุอุปกรณ์

ทำไมการทดสอบของฉันจึงใช้เวลานานในการเริ่มต้น

เมื่อคุณส่งคำขอทดสอบ แอปของคุณจะได้รับการตรวจสอบก่อน ลงชื่อใหม่ ฯลฯ เพื่อเตรียมพร้อมสำหรับการรันการทดสอบบนอุปกรณ์ โดยปกติ กระบวนการนี้จะเสร็จสิ้นภายในไม่กี่วินาที แต่อาจได้รับผลกระทบจากปัจจัยต่างๆ เช่น ขนาดของแอป

หลังจากเตรียมแอปของคุณแล้ว การดำเนินการทดสอบจะถูกกำหนดเวลาและยังคงอยู่ในคิวจนกว่าอุปกรณ์จะพร้อมเรียกใช้ จนกว่าการดำเนินการทดสอบทั้งหมดจะทำงานเสร็จสิ้น สถานะเมทริกซ์จะเป็น "รอดำเนินการ" (ไม่ว่าการดำเนินการทดสอบจะอยู่ในคิวหรือกำลังดำเนินการอยู่ก็ตาม)

ทำไมการทดสอบของฉันจึงใช้เวลานาน

หลังจากการดำเนินการทดสอบเสร็จสิ้น จะมีการดาวน์โหลดวัตถุทดสอบจากอุปกรณ์ ประมวลผล และอัปโหลดไปยัง Cloud Storage ระยะเวลาของขั้นตอนนี้อาจได้รับผลกระทบจากจำนวนและขนาดของสิ่งประดิษฐ์

โควตาที่ไม่มีค่าใช้จ่ายสำหรับ Test Lab คืออะไร ถ้าหมดควรทำอย่างไร?

Firebase Test Lab เสนอโควต้าที่ไม่มีค่าใช้จ่ายสำหรับการทดสอบบนอุปกรณ์และสำหรับการใช้ Cloud API โปรดทราบว่าโควต้าการทดสอบใช้แผนการกำหนดราคามาตรฐานของ Firebase ในขณะที่โควต้า Cloud API ไม่ได้ใช้

• โควต้าการทดสอบ

  โควต้าการทดสอบกำหนดโดยจำนวนอุปกรณ์ที่ใช้ในการเรียกใช้การทดสอบ แผน Firebase Spark มีโควต้าการทดสอบคงที่โดยไม่มีค่าใช้จ่ายสำหรับผู้ใช้ สำหรับแผน Blaze โควต้าของคุณอาจเพิ่มขึ้นหากการใช้งาน Google Cloud เพิ่มขึ้นเมื่อเวลาผ่านไป หากคุณถึงโควต้าการทดสอบแล้ว ให้รอจนถึงวันถัดไปหรืออัปเกรดเป็นแผน Blaze หากคุณใช้แผน Spark อยู่ หากคุณใช้แผน Blaze อยู่แล้ว คุณสามารถขอเพิ่มโควต้าได้ สำหรับข้อมูลเพิ่มเติม โปรดดู โควต้าการทดสอบ

  คุณสามารถตรวจสอบการใช้โควต้าการทดสอบได้ใน Google Cloud Console

• โควต้า API การทดสอบบนคลาวด์

  Cloud Testing API มาพร้อมกับขีดจำกัดโควต้า 2 ข้อ: คำขอต่อวันต่อโปรเจ็กต์ และคำขอต่อทุกๆ 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบการใช้งานของคุณได้ใน Google Cloud Console

• โควต้า API ผลลัพธ์ของ Cloud Tool

  Cloud Tool Results API มาพร้อมกับการจำกัดโควต้าสองรายการ: การสืบค้นต่อวันต่อโปรเจ็กต์ และการสืบค้นต่อทุก ๆ 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบการใช้งานของคุณได้ใน Google Cloud Console

  โปรดดู โควต้า Cloud API สำหรับ Test Lab สำหรับข้อมูลเพิ่มเติมเกี่ยวกับขีดจำกัดของ API หากคุณใช้ API ถึงโควต้าแล้ว:

  • ส่งคำขอโควต้าที่สูงขึ้นโดย แก้ไขโควต้าของคุณ โดยตรงใน Google Cloud Console (โปรดทราบว่าขีดจำกัดส่วนใหญ่ถูกกำหนดเป็นค่าสูงสุดโดยค่าเริ่มต้น) หรือ

  • ขอโควต้า API ที่สูงขึ้นโดยกรอกแบบฟอร์มคำขอใน Google Cloud Console หรือติดต่อ ฝ่ายสนับสนุนของ Firebase

ฉันจะทราบได้อย่างไรว่าการเข้าชมที่มาถึงแบ็กเอนด์ของฉันนั้นมาจาก Test Lab หรือไม่

จากแบ็กเอนด์ของคุณ คุณสามารถระบุได้ว่าการรับส่งข้อมูลมาจากอุปกรณ์ทดสอบที่โฮสต์โดย Firebase หรือไม่ โดยตรวจสอบที่อยู่ IP ต้นทางกับ ช่วง IP ของเรา

Test Lab ทำงานร่วมกับ VPC-SC ได้หรือไม่

Test Lab ไม่ทำงานกับ VPC-SC ซึ่งจะบล็อกการคัดลอกแอปและสิ่งประดิษฐ์ทดสอบอื่นๆ ระหว่างที่เก็บข้อมูลภายในของ Test Lab และที่เก็บข้อมูลผลลัพธ์ของผู้ใช้ ในขณะนี้ มีการยื่นคำขอคุณลักษณะเพื่อเพิ่มการรองรับ VPC-SC ในรุ่นต่อๆ ไป

ฉันจะตรวจหาการทดสอบที่ไม่สม่ำเสมอใน Test Lab ได้อย่างไร

เพื่อ ตรวจหาพฤติกรรมที่ให้ใช้ตัวการรันซ้ำของ Deflake จะถูกเรียกเก็บเงินหรือนับรวมในโควต้ารายวันของคุณเหมือนกับการดำเนินการทดสอบปกติ

โปรดคำนึงถึงสิ่งต่อไปนี้:

• การดำเนินการทดสอบทั้งหมดจะทำงานอีกครั้งเมื่อตรวจพบความล้มเหลว ไม่มีการสนับสนุนสำหรับการลองใหม่เฉพาะกรณีทดสอบที่ล้มเหลว
• Deflake retry run ถูกกำหนดให้รันพร้อมกัน แต่ไม่รับประกันว่าจะรันพร้อมกัน เช่น เมื่อทราฟฟิกเกินจำนวนอุปกรณ์ที่มี

Test Lab รองรับ Appium, Flutter/FlutterDriver, ReactNative/Jest หรือ Cucumber หรือไม่

แม้ว่ารายการเหล่านี้บางรายการจะอยู่ในแผนงานของเรา แต่ขณะนี้เราไม่สามารถให้คำมั่นสัญญาในการสนับสนุนแพลตฟอร์มการทดสอบและการพัฒนาแอปเหล่านี้ได้

ฉันจะดูรายละเอียดอุปกรณ์ เช่น ความละเอียด ฯลฯ ได้ที่ไหน

ข้อมูลอุปกรณ์โดยละเอียดมีให้ผ่าน API และสามารถเข้าถึงได้จากไคลเอนต์ gcloud โดยใช้ คำสั่ง คำอธิบาย :

gcloud firebase test ios models describe MODEL

ฉันสามารถใช้ Sharding กับการทดสอบ iOS ได้หรือไม่

การแบ่งส่วนย่อยไม่ได้รับการสนับสนุนภายใน Test Lab สำหรับ iOS อย่างไรก็ตาม คุณสามารถใช้ไคลเอ็นต์ Flank เพื่อแบ่งกรณีทดสอบ iOS ได้

ทำงานโดยการตั้งค่าคีย์และค่า OnlyTestIdentifiers ในไฟล์ .xctestrun ดูหน้า man สำหรับ xcodebuild.xctestrun สำหรับรายละเอียดเพิ่มเติม