בין אם מריצים את הבדיקות דרך מסוף Firebase או דרך CLI של Firebase, אפשר למצוא את התוצאות המפורטות של הבדיקות במסוף Firebase. בהמשך מוסבר איך לנתח את תוצאות הבדיקה.
צפייה בתוצאות הבדיקה
אחרי שמעלים או בוחרים בדיקה ומציינים את מכשירי הבדיקה, אפשר לראות סיכום של תוצאות הבדיקה (כולל יומנים, סרטונים וצילומי מסך) בלוח הבקרה Test Lab של Firebase המסוף. תוצאות הבדיקה הגולמיות מאוחסנות גם בקטגוריה ב-Google Cloud, כדי שיהיה קל יותר להשתמש בהן עם מערכות CI.
כדי לראות את תוצאות הבדיקה, עוברים לקטע Test Lab במסוף Firebase.
תופיע רשימה של כל ההרצות הקודמות של הבדיקות. כדי להבין את התוצאות, כדאי לדעת קצת על מטריצות בדיקה: כשמריצים בדיקה או סדרה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מריץ את הבדיקה באפליקציה שלכם באצווה, ואז מציג את התוצאות כמטריצת בדיקה.
מכשירים × הרצות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לביש. מכשירים במטריצת בדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והלוקאל (נקרא גם הגדרות גיאוגרפיות ושפה).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלק את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ואת תוצאות הבדיקות של הרצות הבדיקה. אם ביצוע של בדיקה כלשהי במטריצה נכשל, כל המטריצה נכשלת.
פירוש התוצאות של מטריצת הבדיקה
אם מתחילים את הבדיקות ב-Firebase console, Test Lab מעביר אתכם ישירות למטריצת הבדיקות שנמצאות בתהליך, שבה תוכלו לעקוב אחר התקדמות הבדיקות בזמן אמת. אם השתמשתם בכלי שורת הפקודה, תוכלו ללחוץ על כתובת ה-URL שהוא מספק כדי להגיע לדף מטריצת הבדיקה בתהליך.
במטריצה יש שורה לכל הפעלה של בדיקת הביצוע Test Lab. הסמל שלפני שם ההרצה מציג את הסטטוס של ההרצה:
- play_circle_outline בתהליך: הבדיקה עדיין פועלת. הביצועים יכולים להימשך עד שעה, בהתאם למספר הבדיקות ולמורכבות שלהן באפליקציה.
- check_circle עבר: אף אחת מהבדיקות של ההרצה לא נכשלה.
- אזהרה נכשל: לפחות אחת מהבדיקות של ההרצה נכשלה.
- שגיאה לא חד-משמעי: תוצאות הבדיקה לא היו חד-משמעיות, יכול להיות בגלל שגיאה מספר Test Lab.
- block Skipped: Test Lab skipped your test, because the device/OS version combination you selected is unavailable.
פירוש תוצאות מביצוע בדיקה יחיד
בדף התוצאות של מטריצת הבדיקה, לוחצים על אחת מהרצות הבדיקה כדי לראות את התוצאה של הרצת הבדיקה הספציפית הזו.
בדף מוצגים נתונים סטטיסטיים של הרצת הבדיקה, כולל בעיות שנתקלו בהן במהלך הבדיקה, רשימה של תרחישי בדיקה, יומנים מההרצה וסרטון של הרצת הבדיקה.
תוצאות מפורטות של הבדיקה
תוצאות בדיקה מפורטות זמינות בGoogle Cloud Storage bucket למשך 90 ימים. בדף התוצאות של הרצת בדיקה, לוחצים על View Source Files (הצגת קובצי המקור) כדי לראות את הדלי.
כדי לשמור את תוצאות הבדיקה המפורטות למשך יותר מ-90 ימים, צריך לשלוח את תוצאות הבדיקה לקטגוריית Cloud Storage יותר קבועה שנמצאת בבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה של Google Cloud. לאחר מכן אפשר להגדיר את ההגדרה גיל כדי לקבוע כמה זמן Cloud Storage ישמור את התוצאות. מידע נוסף על שינוי ההגדרה גיל זמין במאמר בנושא תנאים של מחזור חיים.