יש כמה דרכים להשתמש ב-Firebase Test Lab כדי להריץ בדיקות לאפליקציה ל-Android, כולל ממשק שורת הפקודה (CLI), Android Studio, ממשק המשתמש של Test Lab מסוף Firebase, ו-Testing API. לא משנה איך בוחרים להתחיל בבדיקות, התוצאות מאוחסנים בפרויקט Firebase שציינתם. אפשר לבחון את התוצאות באמצעות ToolResults API, בנוסף לכל אחד מהכלים שלמעלה. בדף הזה נסביר איך לבדוק ולנתח את תוצאות הבדיקה האלה.
מושגים מרכזיים
כדי לראות את התוצאות מכל הפעלות הבדיקה הקודמות, בוחרים באפשרות Test Lab בחלונית הניווט הימנית של הפרויקט במסוף Firebase. בדף זה מוצגות כל הפעלות הבדיקה של אפליקציות שבדקתם בפרויקט באמצעות Test Lab.
כדי לעיין בתוצאות הבדיקה, תחילה עליכם להבין שלושה מושגים:
כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מפעיל את הבדיקה באפליקציה באצווה, ולאחר מכן מציג את התוצאות כמטריצה של בדיקות.
מכשירים × פעולות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (Android בלבד) שמריצים בו בדיקה, כמו טלפון, טאבלט או מכשיר לביש. מכשירים במטריצת בדיקה מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והלוקאל (נקרא גם הגדרות מיקום גיאוגרפי ושפה).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שתופעל במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלופין לפצל את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ואת תוצאות הבדיקה של הביצוע של הבדיקות. אם בכלל ביצוע הבדיקה במטריצה נכשל, כל המטריצה נכשלת.
בקטעים הבאים מוסבר איך לנווט בתוצאות הבדיקה.
פירוש התוצאות של היסטוריית הבדיקות
כשמעבירים את העכבר מעל Test Lab, מוצגות תוצאות הבדיקות שביצעתם עד עכשיו.
היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגת לכל אפליקציה. אם יש עוד נתונים זמינים, תוכל ללחוץ על כל המטריצות בחלק התחתון של רשימת בדיקות האפליקציות כדי לראות את הרשימה המלאה של אותה אפליקציה.
פרשו תוצאות של מטריצת בדיקה
כשמבצעים בדיקה דרך ממשק המשתמש של Test Lab, מפנה לדף שבו ניתן לראות את מטריצת הבדיקה וללחוץ על כדי להציג את תוצאות הבדיקה. ב-Android Studio והפקודה ב-gcloud מספקת את כתובת ה-URL של מטריצת הבדיקה של Google.
במטריצת בדיקה אופיינית, אפשר לבצע בדיקה שכוללת עשרות משתמשים מכשירים. לכל הפעלה של בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות לכל ביצוע בדיקה במטריצת בדיקות, יש לכלול את הפרטים הבאים:
- עבר
: לא אירעו כשלים. - נכשל
: אירעה לפחות כשל אחד. - לא חד-משמעיות
: תוצאות הבדיקה לא היו חד-משמעיות, אולי בגלל שגיאה מסוג Test Lab. 
עברה על פני: ערכי המאפיינים שנבחרו להרצות מסוימות של הבדיקה במטריצה לא היו תואמים. מצב זה מתרחש כאשר
המכשירים שבחרת לא תואמים לאחד או יותר מ-Android API
הרמות שבחרתם.
כדי לבדוק את תוצאות הבדיקה המצטברות של כל מטריצות הבדיקה של אפליקציה מסוימת בפרויקט Firebase, לוחצים על שם האפליקציה, כפי שמתואר בדוגמה הבאה:
דוגמה לדף תוצאות של מטריצת בדיקה שכוללת רק ארבע פעולות בדיקה
פעולה זו תעביר אותך לרשימת מטריצות הבדיקה של האפליקציה שלך, שבה תוכל ללחוץ על של מטריצת בדיקה כלשהי כדי לראות את התוצאות, ואיפה ניתן ללחוץ שם האפליקציה (מוצג בתיבה האדומה למטה) כדי להציג את הרשימה של מטריצת הבדיקה של אפליקציות אחרות שמשויכות לפרויקט Firebase.
דף של רשימת מטריצות בדיקה לדוגמה
מטריצת בדיקה יכולה לעבור בהצלחה, להיכשל או להיות לא חד-משמעית. אם אחת מהפעלות הבדיקה במטריצה נכשלה או לא מניבת תוצאה חד-משמעית, המטריצה תסומן כ'נכשלה' או כ'לא חד-משמעית'.
פירוש תוצאות הבדיקה של Robo
אם הרצתם את הבדיקות באמצעות Robo, התוצאות יכללו סרטונים וצילומי מסך של Robo שסורק את ממשק המשתמש, בנוסף למדדי הבדיקה הרגילים. הסרטונים האלה צילומי המסך כוללים סימנים חזותיים של הפעולות שביצע רובו במהלך הסריקה. דומה ל'הצגת נגיעות' ב-Android. תוכלו להשתמש בהנחיות כדי לעקוב אחרי ההתקדמות של Robo ולשחזר באגים שהוא עשוי לגלות.
סרטון לדוגמה של תוצאות הבדיקה של Robo
פירוש התוצאות מביצוע בדיקה אחת
בדף התוצאות של מטריצת הבדיקה, לוחצים על אחת מביצוע הבדיקה כדי לראות התוצאה של ביצוע הבדיקה הספציפית.
דוגמה לדף תוצאות של ביצוע בדיקה
בדף זה מוצג הזמן הנדרש לכל ביצוע בדיקה. אפשר גם לראות את התוצאות של מקרי בדיקה ספציפיים שתואמים לשיטות APK לבדיקה (לבדיקות אינסטרומנטציה) ותוצאות בדיקה מפורטות, כולל בדיקות יומנים, צילומי מסך וסרטונים. לבדיקת Robo, בדיקה מפורטת התוצאות כוללות גם מפת פעילות שמציגה באופן גרפי את הנתיבים של ממשק המשתמש בבדיקה של Robo ביקרו.
תוצאות בדיקת אינסטרומנטציה עם חלוקה למחיצות
כדי לעזור לך לפרש תוצאות בדיקה שנעשות על ידי אינסטרומנטציה, Test Lab מפריד בין כל בדיקה לדף דוחות מפורט משלו, שכולל דוחות של קריסות, יומנים וסרטונים. התכונה הזו פועלת גם אם אתם משתמשים ב-Android Marketplacetor וגם אם לא.
דוגמה לדף תוצאות של מקרה בדיקה
פירוש תוצאות הנגישות
בדיקות Robo משתמשות ב-Android Accessibility Scanner כדי לזהות בעיות נגישות באפליקציה שלכם (שימו לב שאפשר גם להריץ סריקה מקומית במכשיר שלכם). במאמר תחילת העבודה עם Accessibility Scanner מוסבר איך לבדוק ולפרש את תוצאות הנגישות של בדיקת ה-Robo.
מידע כללי על שיפור הנגישות של האפליקציה זמין בתיעוד למפתחים של Android בנושא נגישות.
מדדי ביצועים
הבדיקות שפועלות במכשירים פיזיים מחזירות גם את מדדי הביצועים:
| המדד | הגדרות נדרשות במכשיר |
|---|---|
| זמן ההפעלה של האפליקציה | API 19+ |
| ניצול יחידת העיבוד המרכזית (CPU) | API 21+ |
| שימוש בזיכרון | |
| פעילות ברשת | |
| FPS | API 21 ואילך כולל SurfaceView |
תוצאות בדיקה מפורטות
תוצאות הבדיקה המפורטות זמינות למשך 90 יום אחרי שמריצים בדיקה, והן מאוחסנות בקטגוריה Google Cloud Storage (אבל הן גלויות גם במסוף Firebase). אפשר לעיין בתוצאות הבדיקה המפורטות בCloud Storage קטגוריה מסוימת כשלוחצים על Test results בדף תוצאות הביצוע של הבדיקה. כשתוצאות בדיקה מפורטות כבר לא זמינות, אפשר עדיין לראות אילו בדיקות שעברו או נכשלו.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, צריך כדי לשלוח את תוצאות הבדיקה האלה לקטגוריה Cloud Storage שבבעלותכם באמצעות --results-bucket אפשרות שורת הפקודה של Google Cloud. לאחר מכן אפשר להגדיר את ההגדרה גיל כדי לקבוע למשך כמה זמן יישמרו התוצאות. הקטגוריה Cloud Storage. צפייה התנאים של מחזור החיים לקבלת מידע נוסף על שינוי ההגדרה גיל.