คุณใช้ Firebase Test Lab เพื่อทำการทดสอบได้หลายวิธี แอป Android รวมถึงอินเทอร์เฟซบรรทัดคำสั่ง Android Studio, UI ของ Test Lab ใน คอนโซล Firebase และ Testing API ไม่ว่าคุณจะเลือกเริ่มการทดสอบด้วยวิธีใด ผลลัพธ์จะจัดเก็บไว้ในโปรเจ็กต์ Firebase ที่คุณระบุ คุณสามารถสำรวจผลลัพธ์โดยใช้ API ผลการค้นหาเครื่องมือ นอกเหนือจากเครื่องมือใดๆ ข้างต้น หน้านี้อธิบายวิธีการ ให้ตรวจสอบและวิเคราะห์ผลการทดสอบเหล่านี้
หัวข้อสำคัญ
หากต้องการดูผลลัพธ์จากการทดสอบก่อนหน้านี้ทั้งหมด ให้เลือก Test Lab ใน แผงการนำทางด้านซ้ายของโปรเจ็กต์ใน คอนโซล Firebase หน้านี้จะแสดงการทดสอบทั้งหมดจากแอปที่คุณทดสอบกับโปรเจ็กต์โดยใช้ Test Lab
หากต้องการดูผลการทดสอบ ก่อนอื่นคุณต้องเข้าใจแนวคิด 3 ประการต่อไปนี้
เมื่อคุณทำการทดสอบหรือชุดกรณีทดสอบกับอุปกรณ์และการกำหนดค่าที่เลือก Test Lab จะทำการทดสอบกับแอปของคุณเป็นกลุ่ม แล้วแสดงผลลัพธ์เป็นตารางทดสอบ
อุปกรณ์ × การเรียกใช้การทดสอบ = เมทริกซ์การทดสอบ
- อุปกรณ์
- อุปกรณ์จริงหรืออุปกรณ์เสมือน (Android เท่านั้น) ที่คุณทำการทดสอบ เช่น โทรศัพท์ แท็บเล็ต หรืออุปกรณ์ที่สวมใส่ได้ อุปกรณ์ในเมทริกซ์ทดสอบจะระบุด้วย รุ่นอุปกรณ์ เวอร์ชันของระบบปฏิบัติการ การวางแนวหน้าจอ และภาษา (หรือที่เรียกว่า ภูมิศาสตร์และภาษา)
- ทดสอบ ทดสอบการดำเนินการ
- การทดสอบ (หรือชุดเฟรมทดสอบ) ที่จะเรียกใช้บนอุปกรณ์ คุณสามารถเรียกใช้การทดสอบ 1 รายการต่ออุปกรณ์ หรือจะแบ่งการทดสอบและเรียกใช้ชุดทดสอบในอุปกรณ์ต่างๆ ก็ได้
- เมทริกซ์ทดสอบ
- ประกอบด้วยสถานะและผลการทดสอบสำหรับการดำเนินการทดสอบของคุณ หากมี การดำเนินการทดสอบในเมทริกซ์ล้มเหลว เมทริกซ์ทั้งหมดล้มเหลว
ส่วนต่อไปนี้จะอธิบายวิธีไปยังส่วนต่างๆ ของผลการทดสอบ
ตีความผลการทดสอบประวัติ
เมื่อไปที่ผลการทดสอบโดยเลือก Test Lab คุณจะเห็น ของผลการทดสอบที่คุณดำเนินการจนถึงตอนนี้
ระบบจะจัดกลุ่มประวัติการทดสอบตามแอป เฉพาะเมทริกซ์ทดสอบ 5 รายการล่าสุดเท่านั้น แสดงสำหรับแต่ละแอป หากมีมากกว่านี้ คุณสามารถคลิกเมทริกซ์ทั้งหมด ที่ด้านล่างของรายการทดสอบแอปเพื่อดูรายการทั้งหมดของแอปนั้น
ตีความผลลัพธ์ของเมทริกซ์ทดสอบ
เมื่อเริ่มการทดสอบผ่าน UI ของ Test Lab คุณจะทำสิ่งต่อไปนี้ได้ เปลี่ยนเส้นทางไปยังหน้าที่คุณสามารถดูเมทริกซ์ทดสอบของคุณ และคลิก การดำเนินการทดสอบเพื่อดูผลการทดสอบ Android Studio และคําสั่ง gcloud มี URL สําหรับหน้าผลลัพธ์ของตารางทดสอบด้วย
ในเมทริกซ์ทดสอบทั่วไป คุณอาจทำการทดสอบระหว่าง อุปกรณ์ การดำเนินการทดสอบแต่ละครั้งอาจมีผลลัพธ์ที่ต่างกัน ผลลัพธ์ที่เป็นไปได้ สำหรับการดำเนินการทดสอบในเมทริกซ์ทดสอบรวมถึงสิ่งต่อไปนี้
- ผ่าน
: ไม่พบรายการที่ดำเนินการไม่สำเร็จ - ล้มเหลว
: ความล้มเหลวอย่างน้อย 1 รายการคือ
ที่พบ - สรุปไม่ได้
: ผลการทดสอบสรุปไม่ได้ ซึ่งอาจเป็นเพราะข้อผิดพลาด Test Lab - ข้าม
: ค่ามิติข้อมูลที่เลือกสําหรับการเรียกใช้การทดสอบบางรายการในตารางไม่เข้ากันได้ ซึ่งจะเกิดขึ้นเมื่อ
อุปกรณ์ที่คุณเลือกไม่สามารถทำงานร่วมกับ Android API อย่างน้อย 1 รายการ
ระดับที่คุณเลือก
หากต้องการดูผลการทดสอบแบบรวมของเมทริกซ์ทดสอบทั้งหมดของแอปหนึ่งๆ ใน โปรเจ็กต์ Firebase ให้คลิกชื่อแอปตามที่แสดงในตัวอย่างต่อไปนี้
ตัวอย่างหน้าผลการค้นหาของเมทริกซ์ทดสอบที่มีการดำเนินการทดสอบเพียง 4 รายการ
ระบบจะนำคุณไปยังรายการเมทริกซ์ทดสอบของแอปคุณ ซึ่งคุณสามารถคลิก ของเมทริกซ์ทดสอบใดๆ เพื่อดูผลลัพธ์ของเมทริกซ์ทดสอบ และที่ซึ่งคุณสามารถคลิก ชื่อแอป (แสดงในช่องสีแดงด้านล่าง) เพื่อดูรายการเมทริกซ์ทดสอบ สำหรับแอปอื่นๆ ที่เชื่อมโยงกับโปรเจ็กต์ Firebase ของคุณ
ตัวอย่างหน้ารายการตารางทดสอบ
เมทริกซ์ทดสอบอาจผ่าน ไม่ผ่าน หรือมีผลสรุปไม่แน่ชัด เมทริกซ์ทดสอบจะปรากฏขึ้น ว่าไม่สำเร็จหรือไม่มีผลสรุปแน่ชัด หากการดำเนินการทดสอบในเมทริกซ์นั้นล้มเหลวหรือ ไม่มีผลสรุปแน่ชัด
ตีความผลการทดสอบ Robo
หากคุณทำการทดสอบด้วย Robo ผลลัพธ์ของคุณจะมีวิดีโอและภาพหน้าจอของ Robo ทำการ Crawl UI ของคุณ นอกเหนือจากเมตริกการทดสอบปกติ วิดีโอเหล่านั้นและ ภาพหน้าจอมีภาพบ่งชี้การดำเนินการที่ Robo ทำระหว่างการรวบรวมข้อมูล คล้ายกับ "แสดงการแตะ" ใน Android คุณสามารถใช้สัญญาณบอกสถานะเพื่อ ช่วยให้คุณติดตามความคืบหน้าของ Robo และสร้างข้อบกพร่องที่อาจมี ค้นพบ
วิดีโอตัวอย่างผลการทดสอบ Robo
ตีความผลลัพธ์จากการดำเนินการทดสอบเดียว
จากหน้าผลลัพธ์ของเมทริกซ์ทดสอบ ให้คลิกการดำเนินการทดสอบรายการใดรายการหนึ่งเพื่อดู ผลลัพธ์ของการดำเนินการทดสอบนั้น
ตัวอย่างหน้าผลการค้นหาของการดำเนินการทดสอบ
ในหน้านี้ คุณจะเห็นเวลาที่ใช้ในการทดสอบแต่ละครั้ง นอกจากนี้ คุณยังดูผลลัพธ์สำหรับกรณีทดสอบที่เฉพาะเจาะจงซึ่งสอดคล้องกับเมธอดใน APK ทดสอบ (สำหรับการทดสอบเครื่องมือวัดประสิทธิภาพ) และผลการทดสอบโดยละเอียด รวมถึงบันทึกการทดสอบ ภาพหน้าจอ และวิดีโอได้ด้วย สำหรับการทดสอบ Robo การทดสอบโดยละเอียด จะมีแผนที่กิจกรรมที่แสดงเส้นทาง UI ในรูปแบบกราฟิก เข้าชมโดยการทดสอบ Robo
ผลการทดสอบการวัดคุมการแบ่งพาร์ติชัน
Test Lab จะแยกการทดสอบแต่ละรายการ เพื่อช่วยคุณตีความผลการทดสอบการวัดคุม ลงในหน้ารายงานแบบละเอียดของตัวเอง ซึ่งประกอบไปด้วยสแต็กเทรซ บันทึก และวิดีโอ ฟีเจอร์นี้จะทำงานได้ไม่ว่าคุณจะใช้ Android Orchestrator หรือไม่ก็ตาม
ตัวอย่างหน้าผลการทดสอบกรณีทดสอบ
ตีความผลลัพธ์การช่วยเหลือพิเศษ
การทดสอบ Robo ใช้เครื่องตรวจการเข้าถึงของ Android เพื่อตรวจหาปัญหาการช่วยเหลือพิเศษ ในแอป (โปรดทราบว่าคุณสามารถเรียกใช้การสแกนภายในเครื่องได้ด้วย) สำหรับคำแนะนำเกี่ยวกับวิธีตรวจสอบและตีความ ผลการช่วยเหลือพิเศษของการทดสอบ Robo โปรดไปที่ เริ่มต้นใช้งานเครื่องตรวจการเข้าถึง
ดูข้อมูลทั่วไปเกี่ยวกับวิธีปรับปรุงการช่วยเหลือพิเศษของแอปได้ที่เอกสารเกี่ยวกับการช่วยเหลือพิเศษโดยนักพัฒนาแอป Android
เมตริกประสิทธิภาพ
การทดสอบที่ดำเนินการบนอุปกรณ์จริงยังแสดงเมตริกประสิทธิภาพดังต่อไปนี้ด้วย
| เมตริก | การกำหนดค่าอุปกรณ์ที่จำเป็น |
|---|---|
| เวลาเริ่มต้นของแอป | API 19+ |
| การใช้งาน CPU | API 21 ขึ้นไป |
| การใช้งานหน่วยความจำ | |
| กิจกรรมในเครือข่าย | |
| เฟรมต่อวินาที | API 21+ และมี SurfaceView |
ผลการทดสอบโดยละเอียด
ผลการทดสอบโดยละเอียดจะใช้ได้เป็นเวลา 90 วันหลังจากทำการทดสอบ และ จัดเก็บไว้ในที่เก็บข้อมูล Google Cloud Storage (แต่ยังมองเห็นได้ใน Firebase) ดูผลการทดสอบโดยละเอียดได้ใน Cloud Storage เมื่อคุณคลิกทดสอบผลการทดสอบในหน้าผลลัพธ์ของการดำเนินการทดสอบ เมื่อผลการทดสอบโดยละเอียดไม่มีให้บริการแล้ว คุณจะยังเห็นผลการทดสอบ การทดสอบที่ผ่านหรือล้มเหลว
หากต้องการเก็บผลการทดสอบแบบละเอียดไว้นานกว่า 90 วัน คุณต้องมีสิ่งต่อไปนี้ ในการส่งผลการทดสอบเหล่านี้ไปยังที่เก็บข้อมูล Cloud Storage ที่คุณเป็นเจ้าของโดยใช้ ตัวเลือกบรรทัดคำสั่ง gcloud --results-bucket จากนั้นคุณสามารถกำหนดการตั้งค่าอายุเพื่อกำหนดระยะเวลาการจัดเก็บผลลัพธ์ ที่เก็บข้อมูล Cloud Storage ของคุณ โปรดดู เงื่อนไขวงจร เพื่อดูข้อมูลเกี่ยวกับวิธีเปลี่ยนการตั้งค่าอายุ