การแก้ปัญหา Test Lab คำถามที่พบบ่อย

เหตุใดการทดสอบของฉันจึงใช้เวลานานมาก

เมื่อคุณเลือกอุปกรณ์ที่มีระดับความจุสูงใน Test Lab แคตตาล็อก การทดสอบอาจเริ่มเร็วขึ้น เมื่อ อุปกรณ์มีความจุต่ำ การทดสอบอาจใช้เวลานานขึ้น หากจำนวนของ การทดสอบที่เกิดขึ้นมีปริมาณมากกว่าความจุของอุปกรณ์ที่เลือก อาจใช้เวลานานขึ้นกว่าจะเสร็จสิ้น

การทดสอบที่ดำเนินการในระดับความจุของอุปกรณ์ทุกระดับอาจใช้เวลานานกว่าเนื่องจาก ปัจจัยต่อไปนี้

• การรับส่งข้อมูล ซึ่งจะส่งผลต่อความพร้อมใช้งานของอุปกรณ์และความเร็วในการทดสอบ
• ความล้มเหลวของอุปกรณ์หรือโครงสร้างพื้นฐาน ซึ่งอาจเกิดขึ้นได้ได้ทุกเมื่อ หากต้องการตรวจสอบ หากมีการรายงานโครงสร้างพื้นฐานสำหรับ Test Lab โปรดดู หน้าแดชบอร์ดสถานะ Firebase

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับความจุของอุปกรณ์ใน Test Lab โปรดดูความจุของอุปกรณ์ ข้อมูลสําหรับ Android และ iOS

ทำไมฉันจึงได้รับผลการทดสอบที่ไม่มีผลสรุปแน่ชัด

ผลการทดสอบที่ไม่มีผลสรุปแน่ชัดมักเกิดขึ้นจากการทดสอบที่ยกเลิก หรือข้อผิดพลาดด้านโครงสร้างพื้นฐาน

ข้อผิดพลาดด้านโครงสร้างพื้นฐานเกิดจากปัญหาภายใน Test Lab เช่น เครือข่าย หรือลักษณะการทำงานที่ไม่คาดคิดของอุปกรณ์ Test Lab เลิกใช้การทดสอบเป็นการภายใน ที่ทำให้เกิดข้อผิดพลาดทางโครงสร้างพื้นฐานหลายครั้งก่อนที่จะรายงาน ไม่มีผลสรุปแน่ชัด อย่างไรก็ตาม คุณสามารถปิดใช้งานการพยายามครั้งนี้ได้โดยใช้ failFast

หากต้องการทราบสาเหตุของข้อผิดพลาด ให้ทำตามขั้นตอนต่อไปนี้

1. ตรวจสอบการหยุดทำงานที่ทราบใน หน้าแดชบอร์ดสถานะ Firebase

2. ลองทดสอบใน Test Lab อีกครั้งเพื่อยืนยันว่าทำการทดสอบซ้ำได้

3. ลองทำการทดสอบในอุปกรณ์หรืออุปกรณ์อื่น (หากมี)

หากยังพบปัญหาอยู่ โปรดติดต่อทีม Test Lab ใน เปิด #test-lab channel Firebase Slack

ทำไมการชาร์ดจึงทำการทดสอบ นานขึ้นไหม

การชาร์ดอาจทําให้การทดสอบทํางานนานขึ้นเมื่อจํานวนชาร์ดที่คุณ ที่ระบุเกินจำนวนอุปกรณ์ที่ใช้ได้ใน Test Lab ถึง ให้หลีกเลี่ยงสถานการณ์นี้ ลองเปลี่ยนไปใช้อุปกรณ์อื่น หากต้องการดูข้อมูลเพิ่มเติม เกี่ยวกับการเลือกอุปกรณ์อื่น ให้ดูที่ ความจุของอุปกรณ์

ทำไมอาจต้องใช้เวลานาน เพื่อเริ่มการทดสอบ

เมื่อคุณส่งคำขอทดสอบ แอปจะได้รับการตรวจสอบก่อน ลงนามอีกครั้ง และอื่นๆ การเตรียมตัวเพื่อเรียกใช้การทดสอบในอุปกรณ์ โดยปกติขั้นตอนนี้จะเสร็จสมบูรณ์ใน น้อยกว่า 2-3 วินาที แต่อาจได้รับผลกระทบจากปัจจัยต่างๆ เช่น ขนาด แอป

หลังจากเตรียมแอปเรียบร้อยแล้ว ระบบจะกำหนดเวลาการทดสอบและอยู่ในคิวต่อไป จนกว่าอุปกรณ์จะพร้อมใช้งาน จนกว่าการดำเนินการทดสอบทั้งหมดจะทำงานเสร็จสิ้น สถานะเมทริกซ์จะเป็น "รอดำเนินการ" (ไม่ว่าการดำเนินการทดสอบจะ อยู่ในคิวหรือกำลังทำงานอยู่)

ทำไมอาจต้องใช้เวลานาน เพื่อให้การทดสอบเสร็จสิ้น

หลังจากดำเนินการทดสอบเสร็จแล้ว ระบบจะดาวน์โหลดอาร์ติแฟกต์ทดสอบจาก อุปกรณ์ ประมวลผลและอัปโหลดไปยัง Cloud Storage แล้ว ระยะเวลาของขั้นตอนนี้สามารถ ได้รับผลกระทบจากจำนวนและขนาดของอาร์ติแฟกต์

โควต้าที่ไม่มีค่าใช้จ่ายคืออะไร สำหรับ Test Lab ฉันควรทำอย่างไรหากพื้นที่เก็บข้อมูลเต็ม

Firebase Test Lab มอบโควต้าที่ไม่มีค่าใช้จ่ายสำหรับการทดสอบในอุปกรณ์และการใช้ Cloud APIs โปรดทราบว่าโควต้าการทดสอบจะใช้แพ็กเกจราคา Firebase มาตรฐาน ในขณะที่โควต้า Cloud API ไม่มี

• โควต้าการทดสอบ

  โควต้าการทดสอบจะกำหนดโดยจำนวนอุปกรณ์ที่ใช้ทำการทดสอบ แพ็กเกจ Firebase Spark มีโควต้าการทดสอบคงที่โดยไม่มีค่าใช้จ่ายสำหรับผู้ใช้ สำหรับ แพ็กเกจ Blaze โควต้าของคุณอาจเพิ่มขึ้นหากใช้งาน Google Cloud เพิ่มขึ้นเมื่อเวลาผ่านไป หากถึงโควต้าการทดสอบแล้ว ให้รอจนกว่าการทดสอบครั้งถัดไป หรืออัปเกรดเป็นแพ็กเกจ Blaze หากกำลังใช้แพ็กเกจ Spark อยู่ หากใช้แพ็กเกจ Blaze อยู่แล้ว คุณจะขอเพิ่มโควต้าได้ สำหรับข้อมูลเพิ่มเติม โปรดดู โควต้าการทดสอบ

  คุณสามารถตรวจสอบการใช้โควต้าการทดสอบได้ใน Google Cloud Console

• โควต้า Cloud Testing API

  Cloud Testing API มีการจํากัดโควต้า 2 รายการ ได้แก่ คําขอต่อวันต่อ และคำขอต่อทุก 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบ ใน Google Cloud Console

• โควต้า API ผลลัพธ์ของเครื่องมือระบบคลาวด์

  Cloud Tool Results API มาพร้อมกับขีดจำกัดโควต้า 2 แบบ ได้แก่ จำนวนคำค้นหาต่อวันต่อ และคำค้นหาต่อโปรเจ็กต์ทุก 100 วินาทีต่อโปรเจ็กต์ คุณสามารถตรวจสอบ ใน Google Cloud Console

  โปรดดูโควต้า Cloud API สำหรับ Test Lab สำหรับข้อมูลเพิ่มเติมเกี่ยวกับขีดจำกัดของ API หากคุณมี API ถึงโควต้าแล้ว ให้ทำดังนี้

  • โปรดส่งคำขอสำหรับโควต้าที่สูงขึ้นภายในวันที่ การแก้ไขโควต้า ใน Google Cloud Console โดยตรง (โปรดทราบว่าขีดจำกัดส่วนใหญ่กำหนดไว้ที่ สูงสุดโดยค่าเริ่มต้น) หรือ

  • ขอโควต้า API ที่สูงขึ้นโดยกรอกแบบฟอร์มคำขอใน คอนโซล Google Cloud หรือโดยการติดต่อ การสนับสนุน Firebase

ฉันจะทราบได้อย่างไรว่า การรับส่งข้อมูลที่เข้าถึงแบ็กเอนด์ของฉันมาจาก Test Lab ใช่ไหม

จากแบ็กเอนด์ คุณจะระบุได้ว่าการรับส่งข้อมูลนั้นมาจากที่โฮสต์โดย Firebase หรือไม่ ทดสอบอุปกรณ์โดยตรวจสอบที่อยู่ IP ต้นทางเทียบกับ ช่วง IP

Test Lab ใช้งานกับ มี VPC-SC ไหม

Test Lab ใช้ไม่ได้กับ VPC-SC ซึ่งจะบล็อก การคัดลอกแอปและอาร์ติแฟกต์การทดสอบอื่นๆ ระหว่างทรัพยากรภายในของ Test Lab พื้นที่เก็บข้อมูลและผู้ใช้ กลุ่มผลลัพธ์

ฉันจะตรวจหาการทดสอบที่ไม่สม่ำเสมอใน Test Lab

หากต้องการตรวจจับลักษณะการทำงานที่ไม่สม่ำเสมอในการทดสอบ เราขอแนะนำให้ใช้ --จำนวน-จำนวนครั้งที่ไม่สม่ำเสมอ-การทดสอบ-attempts ตัวเลือก ดีเฟลกซ้ำจะมีการเรียกเก็บเงินหรือนับรวมในโควต้ารายวันของคุณเช่นเดียวกับ การดำเนินการทดสอบปกติ

โปรดทราบข้อมูลต่อไปนี้

• การดำเนินการทดสอบทั้งหมดจะทำงานอีกครั้งเมื่อตรวจพบความล้มเหลว ไม่มี รองรับการลองใหม่เฉพาะกรอบการทดสอบที่ไม่สำเร็จ
• มีการกำหนดเวลาการลองซ้ำของ Deflake ให้ทำงานพร้อมกัน แต่ไม่ได้กำหนดไว้ รับประกันได้ว่าจะทำงานพร้อมกัน ตัวอย่างเช่น เมื่อการเข้าชมเกินจำนวน อุปกรณ์ที่ใช้งานได้

รองรับ Test Lab ไหม Appium, Flutter/FlutterDriver, ReactNative/Jest หรือ Cucumber

แม้ว่าจะมีบางรายการอยู่ในแผนกลยุทธ์ของเรา แต่ในขณะนี้เราไม่สามารถให้ ที่จะสนับสนุนแพลตฟอร์มการทดสอบและการพัฒนาแอปเหล่านี้

ฉันจะดูรายละเอียดอุปกรณ์ได้จากที่ใด เช่น ความละเอียด ฯลฯ

ข้อมูลอุปกรณ์โดยละเอียดจะมีให้ผ่านทาง API และสามารถเข้าถึงได้ จากไคลเอ็นต์ gcloud โดยใช้ อธิบายคำสั่ง ดังนี้

gcloud firebase test ios models describe MODEL

ฉันจะใช้การชาร์ดกับการทดสอบ iOS ได้ไหม

Test Lab สำหรับ iOS ไม่รองรับการชาร์ดโดยค่าเริ่มต้น อย่างไรก็ตาม คุณสามารถ ใช้ไคลเอ็นต์ Flank เพื่อชาร์ดเคสทดสอบของ iOS

ซึ่งทำงานโดยการตั้งค่าคีย์และค่า OnlyTestIdentifiers ในไฟล์ .xctestrun ดูหน้า man สำหรับ xcodebuild.xctestrun สำหรับรายละเอียดเพิ่มเติม

Captcha สำหรับการลงชื่อเข้าใช้

การทดสอบ Robo ไม่สามารถข้ามหน้าจอลงชื่อเข้าใช้ที่ต้องใช้ การดำเนินการเพิ่มเติมของผู้ใช้นอกเหนือจากการป้อนข้อมูลเข้าสู่ระบบเพื่อลงชื่อเข้าใช้ เช่น ป้อน CAPTCHA

การรองรับเฟรมเวิร์ก UI

การทดสอบ Robo ทำงานได้ดีที่สุดกับแอปที่ใช้องค์ประกอบ UI จาก UI ของ Android เฟรมเวิร์ก (รวมถึง View, ViewGroup และ WebView ) หากคุณใช้การทดสอบ Robo เพื่อใช้งานแอปที่ใช้ UI อื่น เฟรมเวิร์ก เช่น แอปที่ใช้เครื่องมือเกมของ Unity อาจทำให้การทดสอบสิ้นสุดลง โดยไม่ต้องสำรวจไปไกลกว่าหน้าจอแรก