לא משנה אם מריצים את הבדיקות דרך מסוף Firebase או דרך ה-CLI של Firebase, תוצאות הבדיקה המפורטות יופיעו במסוף Firebase. בהמשך מוסבר איך לנתח את תוצאות הבדיקה.
הצגת תוצאות הבדיקה
אחרי שמעלים או בוחרים בדיקה ומציינים את מכשירי הבדיקה, אפשר לראות סיכום של תוצאות הבדיקה (כולל יומנים, סרטונים וצילומי מסך) בלוח הבקרה Test Lab במסוף Firebase. תוצאות הבדיקה הגולמיות מאוחסנות גם בקטגוריה של Google Cloud, כדי שיהיה קל יותר להשתמש במערכות CI.
כדי לראות את תוצאות הבדיקה, יש לעבור לקטע Test Lab במסוף Firebase.
שם תופיע רשימה של כל הפעלות הבדיקה הקודמות. כדי להבין את התוצאות, כדאי לדעת קצת על מטריצות בדיקה: כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מפעיל את הבדיקה באפליקציה באצווה, ולאחר מכן מציג את התוצאות כמטריצה של בדיקות.
מכשירים × פעולות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (ל-Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לבישה. המכשירים במטריצה של הבדיקות מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והאזור (נקרא גם הגדרות גיאוגרפיות ושפתיות).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שתופעל במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלופין לפצל את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ותוצאות הבדיקות של פעולות הבדיקה. אם אחת מהבדיקות במטריצה נכשלת, כל המטריצה נכשלת.
פירוש תוצאות מטריצת הבדיקה
אם תתחילו את הבדיקות במסוף Firebase, הפקודה Test Lab תעביר אתכם ישירות למטריצת הבדיקות שמתבצעת, שם תוכלו לעקוב אחר התקדמות הבדיקות בזמן אמת. אם במקום זאת השתמשתם בכלי שורת הפקודה, תוכלו לעקוב אחר כתובת ה-URL שהוא מספק כדי להגיע לדף מטריצת הבדיקה בתהליך.
במטריצה יש קו לכל הרצת בדיקה של Test Lab. הסמל שלפני שם הביצוע מציג את הסטטוס של הביצוע:
- play_circle_outline בביצוע: ביצוע הבדיקה עדיין נמשך. תהליך הבדיקה עשוי להימשך עד שעה, בהתאם למספר הבדיקות באפליקציה ולמורכבות שלהן.
- check_circle עבר: אף אחת מהבדיקות של הביצוע לא נכשלה.
- אזהרה נכשלה: לפחות אחת מבדיקות הביצוע נכשלה.
- error לא חד-משמעית: תוצאות הבדיקה לא היו חד-משמעיות, אולי בגלל שגיאה ב-Test Lab.
- חסימה דילוג: Test Lab דילג על הבדיקה, כי השילוב של גרסת המכשיר/מערכת ההפעלה שבחרת לא זמין.
פירוש תוצאות מביצוע בדיקה אחת
בדף התוצאות של מטריצת הבדיקה, לוחצים על אחת מביצוע הבדיקה כדי לראות את התוצאה של אותה בדיקה ספציפית.
בדף מוצגים נתונים סטטיסטיים לביצוע הבדיקה, כולל בעיות בבדיקה, רשימת מקרי בדיקה, יומנים מהביצוע וסרטון של הרצת הבדיקה.
תוצאות בדיקה מפורטות
תוצאות בדיקה מפורטות זמינות בקטגוריה Google Cloud Storage למשך 90 ימים. כדי לראות את הקטגוריה, לוחצים על View Source Files (הצגת קובצי מקור) בדף תוצאות הבדיקה.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, שולחים את תוצאות הבדיקה לקטגוריית Cloud Storage קבועה יותר שבבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה של gcloud. לאחר מכן תוכלו להגדיר את ההגדרה Age כדי לקבוע למשך כמה זמן Cloud Storage יאחסן את התוצאות. מידע נוסף על שינוי ההגדרה Age זמין במאמר תנאי מחזור חיים.