คุณใช้ Firebase Test Lab เพื่อทำการทดสอบได้หลายวิธี แอป Android รวมถึงอินเทอร์เฟซบรรทัดคำสั่ง Android Studio UI ของ Test Lab ใน คอนโซล Firebase และ Testing API ไม่ว่าคุณจะเลือกเริ่มทดสอบอย่างไร ผลลัพธ์จะเป็น ที่จัดเก็บไว้ในโปรเจ็กต์ Firebase ที่คุณระบุ คุณสามารถสำรวจผลลัพธ์โดยใช้ API ผลการค้นหาเครื่องมือ นอกเหนือจากเครื่องมือใดๆ ข้างต้น หน้านี้อธิบายวิธีการ ให้ตรวจสอบและวิเคราะห์ผลการทดสอบเหล่านี้
หัวข้อสำคัญ
หากต้องการดูผลการทดสอบทั้งหมดก่อนหน้านี้ ให้เลือก Test Lab ใน แผงการนำทางด้านซ้ายของโปรเจ็กต์ใน คอนโซล Firebase หน้านี้จะแสดงการทดสอบทั้งหมดจาก แอปที่คุณได้ทดสอบกับโปรเจ็กต์โดยใช้ Test Lab
หากต้องการดูผลการทดสอบ ก่อนอื่นคุณต้องเข้าใจแนวคิด 3 ประการต่อไปนี้
เมื่อคุณทำการทดสอบหรือชุดกรอบการทดสอบกับอุปกรณ์และการกำหนดค่า ที่คุณได้เลือกไว้ Test Lab จะทำการทดสอบกับแอปของคุณเป็นกลุ่ม จากนั้น แสดงผลลัพธ์เป็นเมทริกซ์ทดสอบ
อุปกรณ์ × การดำเนินการทดสอบ = เมทริกซ์ทดสอบ
- อุปกรณ์
- อุปกรณ์จริงหรืออุปกรณ์เสมือน (Android เท่านั้น) ที่คุณทำการทดสอบ เช่น โทรศัพท์ แท็บเล็ต หรืออุปกรณ์ที่สวมใส่ได้ อุปกรณ์ในเมทริกซ์ทดสอบจะระบุด้วย รุ่นอุปกรณ์ เวอร์ชันของระบบปฏิบัติการ การวางแนวหน้าจอ และภาษา (หรือที่เรียกว่า ภูมิศาสตร์และภาษา)
- ทดสอบ ทดสอบการดำเนินการ
- การทดสอบ (หรือชุดกรณีการทดสอบ) ที่จะเรียกใช้ในอุปกรณ์ คุณทำการทดสอบได้ 1 รายการ ต่ออุปกรณ์ หรือชาร์ดการทดสอบและเรียกใช้กรอบการทดสอบใน บนอุปกรณ์ต่างๆ
- เมทริกซ์ทดสอบ
- ประกอบด้วยสถานะและผลการทดสอบสำหรับการดำเนินการทดสอบของคุณ หากมี การดำเนินการทดสอบในเมทริกซ์ล้มเหลว เมทริกซ์ทั้งหมดล้มเหลว
ส่วนต่อไปนี้จะอธิบายวิธีไปยังส่วนต่างๆ ของผลการทดสอบ
ตีความผลการทดสอบประวัติ
เมื่อไปที่ผลการทดสอบโดยเลือก Test Lab คุณจะเห็น ของผลการทดสอบที่คุณดำเนินการจนถึงตอนนี้
ระบบจะจัดกลุ่มประวัติการทดสอบตามแอป เฉพาะเมทริกซ์ทดสอบ 5 รายการล่าสุดเท่านั้น แสดงสำหรับแต่ละแอป หากมีมากกว่านี้ คุณสามารถคลิกเมทริกซ์ทั้งหมด ที่ด้านล่างของรายการทดสอบแอปเพื่อดูรายการทั้งหมดของแอปนั้น
ตีความผลลัพธ์ของเมทริกซ์ทดสอบ
เมื่อเริ่มการทดสอบผ่าน Test Lab UI คุณจะทำสิ่งต่อไปนี้ได้ เปลี่ยนเส้นทางไปยังหน้าที่คุณสามารถดูเมทริกซ์ทดสอบของคุณ และคลิก การดำเนินการทดสอบเพื่อดูผลการทดสอบ Android Studio และคำสั่ง gcloud จะระบุ URL สำหรับเมทริกซ์ทดสอบ ด้วย
ในเมทริกซ์ทดสอบทั่วไป คุณอาจทำการทดสอบระหว่าง อุปกรณ์ การดำเนินการทดสอบแต่ละครั้งอาจมีผลลัพธ์ที่ต่างกัน ผลลัพธ์ที่เป็นไปได้ สำหรับการดำเนินการทดสอบในเมทริกซ์ทดสอบรวมถึงสิ่งต่อไปนี้
- ผ่าน
: ไม่พบความล้มเหลว - ล้มเหลว
: ความล้มเหลวอย่างน้อย 1 รายการคือ
ที่พบ - ไม่มีผลสรุปแน่ชัด
: ผลการทดสอบคือ
ไม่มีผลสรุปแน่ชัด อาจเป็นเพราะข้อผิดพลาดของ Test Lab - ข้าม
: ค่ามิติข้อมูลที่เลือก
สำหรับการดำเนินการทดสอบบางรายการในเมทริกซ์เข้ากันไม่ได้ ซึ่งจะเกิดขึ้นเมื่อ
อุปกรณ์ที่คุณเลือกไม่สามารถทำงานร่วมกับ Android API อย่างน้อย 1 รายการ
ระดับที่คุณเลือก
หากต้องการดูผลการทดสอบแบบรวมของเมทริกซ์ทดสอบทั้งหมดของแอปหนึ่งๆ ใน โปรเจ็กต์ Firebase ให้คลิกชื่อแอปตามที่แสดงในตัวอย่างต่อไปนี้
ตัวอย่างหน้าผลการค้นหาของเมทริกซ์ทดสอบที่มีการดำเนินการทดสอบเพียง 4 รายการ
ระบบจะนำคุณไปยังรายการเมทริกซ์ทดสอบของแอป ซึ่งคุณสามารถคลิก ของเมทริกซ์ทดสอบใดๆ เพื่อดูผลลัพธ์ของเมทริกซ์ทดสอบ และที่ซึ่งคุณสามารถคลิก ชื่อแอป (แสดงในช่องสีแดงด้านล่าง) เพื่อดูรายการเมทริกซ์ทดสอบ สำหรับแอปอื่นๆ ที่เชื่อมโยงกับโปรเจ็กต์ Firebase ของคุณ
ตัวอย่างหน้ารายการเมทริกซ์ทดสอบ
เมทริกซ์ทดสอบอาจผ่าน ไม่ผ่าน หรือมีผลสรุปไม่แน่ชัด เมทริกซ์ทดสอบจะปรากฏขึ้น ว่าไม่สำเร็จหรือไม่มีผลสรุปแน่ชัด หากการดำเนินการทดสอบในเมทริกซ์นั้นล้มเหลวหรือ ไม่มีผลสรุปแน่ชัด
ตีความผลการทดสอบ Robo
หากคุณทำการทดสอบกับ Robo ผลการทดสอบจะรวมวิดีโอและภาพหน้าจอของ Robo จะรวบรวมข้อมูล UI ของคุณนอกเหนือจากเมตริกการทดสอบตามปกติ วิดีโอเหล่านั้นและ ภาพหน้าจอมีภาพบ่งชี้การดำเนินการที่ Robo ทำระหว่างการรวบรวมข้อมูล คล้ายกับ "แสดงการแตะ" ใน Android คุณสามารถใช้สัญญาณบอกสถานะเพื่อ ช่วยให้คุณติดตามความคืบหน้าของ Robo และสร้างข้อบกพร่องที่อาจมี ค้นพบ
วิดีโอตัวอย่างผลการทดสอบ Robo
ตีความผลลัพธ์จากการดำเนินการทดสอบเดียว
จากหน้าผลลัพธ์ของเมทริกซ์ทดสอบ ให้คลิกการดำเนินการทดสอบรายการใดรายการหนึ่งเพื่อดู ผลลัพธ์ของการดำเนินการทดสอบนั้น
ตัวอย่างหน้าผลการค้นหาของการดำเนินการทดสอบ
ในหน้านี้ คุณจะเห็นเวลาที่ใช้ในการทดสอบแต่ละครั้ง คุณสามารถ คุณสามารถดูผลลัพธ์ของกรอบการทดสอบที่เฉพาะเจาะจงซึ่งสอดคล้องกับวิธีการใน ทดสอบ APK (สำหรับการทดสอบการใช้เครื่องมือ) และผลการทดสอบโดยละเอียด รวมถึงการทดสอบ บันทึก ภาพหน้าจอ และวิดีโอ สำหรับการทดสอบ Robo การทดสอบโดยละเอียด จะมีแผนที่กิจกรรมที่แสดงเส้นทาง UI ในรูปแบบกราฟิก เข้าชมโดยการทดสอบ Robo
ผลการทดสอบการวัดคุมการแบ่งพาร์ติชัน
Test Lab จะแยกการทดสอบแต่ละรายการ เพื่อช่วยคุณตีความผลการทดสอบการวัดคุม ลงในหน้ารายงานแบบละเอียดของตัวเอง ซึ่งประกอบไปด้วยสแต็กเทรซ บันทึก และวิดีโอ ฟีเจอร์นี้จะทำงานได้ไม่ว่าคุณจะใช้ Android Orchestrator หรือไม่ก็ตาม
ตัวอย่างหน้าผลการค้นหาของกรอบการทดสอบ
ตีความผลลัพธ์การช่วยเหลือพิเศษ
การทดสอบ Robo ใช้เครื่องตรวจการเข้าถึงของ Android เพื่อตรวจหาปัญหาการช่วยเหลือพิเศษ ในแอป (โปรดทราบว่าคุณสามารถเรียกใช้การสแกนภายในเครื่องได้ด้วย) สำหรับคำแนะนำเกี่ยวกับวิธีตรวจสอบและตีความ ผลการช่วยเหลือพิเศษของการทดสอบ Robo โปรดไปที่ เริ่มต้นใช้งานเครื่องตรวจการเข้าถึง
ดูข้อมูลทั่วไปเกี่ยวกับวิธีปรับปรุงการช่วยเหลือพิเศษของแอปได้ที่ เอกสารประกอบการช่วยเหลือพิเศษโดยนักพัฒนาแอป Android
เมตริกประสิทธิภาพ
การทดสอบที่ดำเนินการบนอุปกรณ์จริงยังแสดงเมตริกประสิทธิภาพดังต่อไปนี้ด้วย
| เมตริก | การกำหนดค่าอุปกรณ์ที่จำเป็น |
|---|---|
| เวลาเริ่มต้นของแอป | API 19 ขึ้นไป |
| การใช้งาน CPU | API 21 ขึ้นไป |
| การใช้งานหน่วยความจำ | |
| กิจกรรมในเครือข่าย | |
| เฟรมต่อวินาที | API 21+ และมี SurfaceView |
| ประสิทธิภาพของกราฟิก | API 23 ขึ้นไป |
รายละเอียดประสิทธิภาพกราฟิก
รายงานประสิทธิภาพกราฟิกมีสถิติของตัวชี้วัดกราฟิกหลักหลายรายการ:
- Vsync ที่ไม่ได้รับ: จำนวนเหตุการณ์ Vsync ที่ไม่ได้รับ หารด้วยจำนวนเฟรมที่ใช้เวลา นานกว่า 16 มิลลิวินาทีในการแสดงผล
- เวลาในการตอบสนองการป้อนข้อมูลสูง: จำนวนครั้งของเหตุการณ์การป้อนข้อมูลที่ใช้เวลานานกว่า 24 มิลลิวินาที หารด้วยจำนวนเหตุการณ์ เฟรมที่ใช้เวลาแสดงผลนานกว่า 16 มิลลิวินาที
- ชุดข้อความ UI ที่ช้า: จำนวนครั้งที่ชุด UI ใช้เวลานานกว่า 8 มิลลิวินาทีในการทำงาน หารด้วย จำนวนเฟรมที่ใช้เวลาในการแสดงผลนานกว่า 16 มิลลิวินาที
- คำสั่งสำหรับแสดงผลช้า จำนวนครั้งที่การส่งคำสั่งวาดไปยัง GPU ใช้เวลานานกว่า 12 มิลลิวินาที หารด้วยจำนวนเฟรมที่ใช้เวลาแสดงผลนานกว่า 16 มิลลิวินาที
- การอัปโหลดบิตแมปที่ช้า จำนวนครั้งที่บิตแมปใช้เวลานานกว่า 3.2 มิลลิวินาทีในการอัปโหลดไปยัง GPU หารด้วยจำนวนเฟรมที่ใช้เวลาแสดงผลนานกว่า 16 มิลลิวินาที
- เวลาในการแสดงผล: การกระจายเวลาในการแสดงผลสำหรับแต่ละเฟรม
การทดสอบ เวลาในการแสดงผลที่นานกว่า 32 มิลลิวินาที ส่งผลให้การแสดงผล
การชะลอ UI ของคุณ เวลาแสดงผล 700 ขึ้นไปแสดงว่าเฟรมค้าง แสดงผล
รวบรวมข้อมูลจาก
dumpsys graphicsstats
ผลการทดสอบโดยละเอียด
ผลการทดสอบโดยละเอียดจะใช้ได้เป็นเวลา 90 วันหลังจากทำการทดสอบ และ ที่จัดเก็บไว้ในที่เก็บข้อมูล Google Cloud Storage (แต่ยังมองเห็นได้ใน คอนโซล Firebase) คุณดูผลการทดสอบโดยละเอียดได้ใน Cloud Storage เมื่อคุณคลิกผลการทดสอบในหน้าผลลัพธ์ของการดำเนินการทดสอบ เมื่อผลการทดสอบโดยละเอียดไม่มีให้บริการแล้ว คุณจะยังเห็นผลการทดสอบ การทดสอบที่ผ่านหรือล้มเหลว
หากต้องการเก็บผลการทดสอบแบบละเอียดไว้นานกว่า 90 วัน คุณต้องมีสิ่งต่อไปนี้ เพื่อส่งผลการทดสอบเหล่านี้ไปยังที่เก็บข้อมูล Cloud Storage ที่คุณเป็นเจ้าของโดยใช้ ตัวเลือกบรรทัดคำสั่ง gcloud --results-bucket จากนั้นคุณสามารถกำหนดการตั้งค่าอายุเพื่อกำหนดระยะเวลาการจัดเก็บผลลัพธ์ ที่เก็บข้อมูล Cloud Storage ของคุณ โปรดดู เงื่อนไขวงจร เพื่อดูข้อมูลเกี่ยวกับวิธีเปลี่ยนการตั้งค่าอายุ