תוצאות הבדיקה המפורטות מופיעות במסוף Firebase, בין שאתם מריצים את הבדיקות דרך מסוף Firebase ובין שאתם מריצים אותן דרך CLI של Firebase. בהמשך מוסבר איך לנתח את תוצאות הבדיקה.
הצגת תוצאות הבדיקה
אחרי שמעלים או בוחרים בדיקה ומציינים את מכשירי הבדיקה, אפשר לראות סיכום של תוצאות הבדיקה (כולל יומנים, סרטונים וצילומי מסך) בלוח הבקרה Test Lab במסוף Firebase. תוצאות הבדיקה הגולמיות מאוחסנות גם בקטגוריה ב-Google Cloud, כדי שיהיה קל יותר להשתמש בהן במערכות CI.
כדי לראות את תוצאות הבדיקה, עוברים לקטע Test Lab במסוף Firebase.
שם תופיע רשימה של כל הפעלות הבדיקה הקודמות. כדי להבין את התוצאות, כדאי לדעת קצת על מטריצות בדיקה: כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מפעיל את הבדיקה באפליקציה באצווה, ולאחר מכן מציג את התוצאות כמטריצה של בדיקות.
מכשירים × הרצאות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (ל-Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לבישה. המכשירים במטריצה של הבדיקות מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והאזור (נקרא גם הגדרות גיאוגרפיות ושפתיות).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלופין לפצל את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ותוצאות הבדיקות של פעולות הבדיקה. אם אחת מהבדיקות במטריצה נכשלת, כל המטריצה נכשלת.
פירוש תוצאות מטריצת הבדיקה
אם תתחילו את הבדיקות במסוף Firebase, הפקודה Test Lab תעביר אתכם ישירות למטריצה של הבדיקות שנמצאות בתהליך, שבה תוכלו לעקוב אחרי התקדמות הבדיקות בזמן אמת. אם השתמשתם בכלי שורת הפקודה במקום זאת, תוכלו להיכנס לכתובת ה-URL שמופיעה בו כדי להגיע לדף של מטריצת הבדיקות שנמצאת בטיפול.
במטריצה יש שורה לכל הרצות Test Lab של בדיקת הביצוע. הסמל שמופיע לפני שם הביצוע מציין את הסטטוס שלו:
- play_circle_outline בביצוע: ביצוע הבדיקה עדיין נמשך. הרצת הבדיקות יכולה להימשך עד שעה, בהתאם למספר הבדיקות ולמורכבות שלהן באפליקציה.
- check_circle עבר: אף אחת מהבדיקות של הביצוע לא נכשלה.
- warning Failed: לפחות אחת מהבדיקות של הביצוע נכשלה.
- error לא חד-משמעית: תוצאות הבדיקה לא היו חד-משמעיות, אולי בגלל שגיאה ב-Test Lab.
- block Skipped: Test Lab דלג על הבדיקה כי השילוב של המכשיר/גרסת מערכת ההפעלה שבחרתם לא זמין.
פירוש תוצאות מביצוע בדיקה יחיד
בדף התוצאות של מטריצת הבדיקות, לוחצים על אחת מהפעלות הבדיקה כדי לראות את התוצאה של הפעלת הבדיקה הספציפית הזו.
בדף מוצגים נתונים סטטיסטיים לגבי הפעלת הבדיקה, כולל בעיות שנתקלת בהן בבדיקה, רשימת תרחישי בדיקה, יומנים מההפעלה וסרטון של הפעלת הבדיקה.
תוצאות בדיקה מפורטות
תוצאות בדיקה מפורטות זמינות בקטגוריה Google Cloud Storage למשך 90 ימים. לוחצים על View Source Files בדף תוצאות של בדיקה כדי לראות את הקטגוריה.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, שולחים את תוצאות הבדיקה לקטגוריית Cloud Storage קבועה יותר שבבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה של gcloud. לאחר מכן תוכלו להגדיר את ההגדרה Age כדי לקבוע למשך כמה זמן Cloud Storage יאחסן את התוצאות. מידע נוסף על שינוי ההגדרה Age זמין במאמר תנאי מחזור חיים.