יש כמה דרכים להשתמש ב-Firebase Test Lab כדי להריץ בדיקות באפליקציה ל-Android, כולל ממשק שורת הפקודה, Android Studio, ממשק המשתמש של Test Lab במסוף Firebase ו-Testing API. לא משנה איך תבחרו להתחיל את הבדיקות, התוצאות יישמרו בפרויקט Firebase שציינתם. אפשר לבחון את התוצאות באמצעות ToolResults API, בנוסף לכל אחד מהכלים שלמעלה. בדף הזה נסביר איך לבדוק ולנתח את תוצאות הבדיקה האלה.
מושגים מרכזיים
כדי לראות את התוצאות מכל הפעלות הבדיקה הקודמות, בוחרים באפשרות Test Lab בחלונית הניווט הימנית של הפרויקט במסוף Firebase. בדף הזה מוצגים כל הרצות הבדיקה של האפליקציות שבדקתם עם הפרויקט באמצעות Test Lab.
כדי לבדוק את תוצאות הבדיקה, קודם צריך להבין שלושה מושגים:
כשמריצים בדיקה או קבוצה של תרחישי בדיקה במכשירים ובהגדרות שבחרתם, Test Lab מפעיל את הבדיקה באפליקציה באצווה, ואז מציג את התוצאות כמטריצה של בדיקות.
מכשירים × הרצאות בדיקה = מטריצת בדיקה
- מכשיר
- מכשיר פיזי או וירטואלי (ל-Android בלבד) שבו מריצים בדיקה, כמו טלפון, טאבלט או מכשיר לבישה. המכשירים במטריצה של הבדיקות מזוהים לפי דגם המכשיר, גרסת מערכת ההפעלה, כיוון המסך והאזור (נקרא גם הגדרות גיאוגרפיות ושפתיות).
- בדיקה, ביצוע בדיקה
- בדיקה (או קבוצה של מקרי בדיקה) שצריך להריץ במכשיר. אפשר להריץ בדיקה אחת לכל מכשיר, או לחלופין לפצל את הבדיקה ולהריץ את תרחישי הבדיקה שלה במכשירים שונים.
- מטריצת בדיקה
- מכיל את הסטטוסים ותוצאות הבדיקות של פעולות הבדיקה. אם אחת מהבדיקות במטריצה נכשלת, כל המטריצה נכשלת.
בקטעים הבאים מוסבר איך לנווט בתוצאות הבדיקה.
פירוש התוצאות של היסטוריית הבדיקות
כשמעבירים את העכבר מעל Test Lab, מוצגות תוצאות הבדיקות שביצעתם עד עכשיו.
היסטוריית הבדיקות מקובצת לפי אפליקציה. רק חמש מטריצות הבדיקה האחרונות מוצגות לכל אפליקציה. אם יש יותר מטריצות זמינות, אפשר ללחוץ על הקישור כל המטריצות שבתחתית רשימת הבדיקות של האפליקציה כדי לראות את הרשימה המלאה של האפליקציה הזו.
פירוש תוצאות מטריצת הבדיקה
כשמתחילים בדיקה דרך ממשק המשתמש של Test Lab, מופנית אתכם לדף שבו אפשר לראות את מטריצת הבדיקות, וללחוץ על הפעלת בדיקה ספציפית כדי להציג את תוצאות הבדיקה. גם Android Studio וגם הפקודה gcloud מספקות כתובת URL לדף התוצאות של מטריצת הבדיקות.
במטריצה רגילה של בדיקות, יכול להיות שתפעילו בדיקה בכמה עשרות מכשירים שונים. לכל הפעלה של בדיקה יכולה להיות תוצאה שונה. התוצאות האפשריות של כל הרצת בדיקה במטריצה של בדיקות כוללות את התוצאות הבאות:
- עבר
: לא נמצאו כשלים. - נכשל
: אירעה לפחות כשל אחד. - לא חד-משמעיות
: תוצאות הבדיקה לא היו חד-משמעיות, אולי בגלל שגיאה מסוג Test Lab. 
עברה על פני: ערכי המאפיינים שנבחרו להרצות מסוימות של הבדיקות במטריצה לא היו תואמים. המצב הזה קורה כשהמכשירים שבחרתם לא תואמים לרמה אחת או יותר של Android API שבחרתם.
כדי לבדוק את תוצאות הבדיקה המצטברות של כל מטריצות הבדיקה של אפליקציה מסוימת בפרויקט Firebase, לוחצים על שם האפליקציה, כפי שמתואר בדוגמה הבאה:
דוגמה לדף תוצאות של מטריית בדיקות עם ארבעה פעולות בדיקה בלבד
תועברו לרשימה של מטריצות הבדיקה של האפליקציה. תוכלו ללחוץ על השם של כל מטריצה כדי לראות את התוצאות שלה, וללחוץ על שם האפליקציה (שמוצג בתיבה האדומה שבהמשך) כדי לראות את רשימת מטריצות הבדיקה של אפליקציות אחרות שמשויכות לפרויקט ב-Firebase.
דף רשימה לדוגמה של מטריית בדיקות
מטריית בדיקה יכולה לעבור, להיכשל או להיות לא חד-משמעית. אם אחת מהפעלות הבדיקה במטריצה נכשלה או לא מניבת תוצאה חד-משמעית, המטריצה תסומן כ'נכשלה' או כ'לא חד-משמעית'.
פירוש תוצאות הבדיקה של Robo
אם הרצתם את הבדיקות באמצעות Robo, התוצאות יכללו סרטונים וצילומי מסך של Robo שסורק את ממשק המשתמש, בנוסף למדדי הבדיקה הרגילים. הסרטונים והצילומים המפורטים האלה כוללים אינדיקציות חזותיות של הפעולות שבוצעו על ידי ה-Robo במהלך הסריקה, בדומה לתכונה 'הצגת נגיעות' ב-Android. תוכלו להשתמש בהנחיות כדי לעקוב אחרי ההתקדמות של Robo ולשחזר באגים שהוא עשוי לגלות.
דוגמה לסרטון עם תוצאות של בדיקת Robo
פירוש תוצאות מביצוע בדיקה יחיד
בדף התוצאות של מטריצת הבדיקות, לוחצים על אחת מהפעלות הבדיקה כדי לראות את התוצאה של הפעלת הבדיקה הספציפית הזו.
דוגמה לדף תוצאות של בדיקה
בדף הזה אפשר לראות את משך הזמן הנדרש להרצת כל בדיקה. תוכלו גם לראות את התוצאות של תרחישי בדיקה ספציפיים שתואמים לשיטות בחבילת ה-APK לבדיקה (לבדיקות של מכשירי מדידה) ותוצאות בדיקה מפורטות, כולל יומני בדיקה, צילומי מסך וסרטונים. בבדיקת Robo, תוצאות הבדיקה המפורטות כוללות גם מפת פעילות שבה מוצגים באופן גרפי הנתיבים בממשק המשתמש שבהם בוצעה בדיקת ה-Robo.
תוצאות של בדיקות אינסטרומנטציה שמחולקות למחיצות
כדי לעזור לכם לפרש את תוצאות הבדיקות עם המדדים, Test Lab מפריד כל בדיקה לדף דוח מפורט משלה, עם מעקב סטאק, יומנים וסרטונים. התכונה הזו פועלת גם אם אתם משתמשים ב-Android Orchestrator וגם אם לא.
דוגמה לדף תוצאות של בדיקת תוכנה
פרשנות של תוצאות הנגישות
בבדיקות הרובוט נעשה שימוש ב-Android Accessibility Scanner כדי לזהות בעיות נגישות באפליקציה (שימו לב שאפשר גם להריץ סריקה באופן מקומי במכשיר). במאמר תחילת העבודה עם Accessibility Scanner מוסבר איך לבדוק ולפרש את תוצאות הנגישות של בדיקת ה-Robo.
מידע כללי על שיפור הנגישות של האפליקציה זמין בתיעוד למפתחים של Android בנושא נגישות.
מדדי ביצועים
בדיקות שפועלות במכשירים פיזיים גם מחזירות מדדי ביצועים:
| מדד | הגדרות נדרשות במכשיר |
|---|---|
| זמן ההפעלה של האפליקציה | API 19+ |
| ניצול יחידת העיבוד המרכזית (CPU) | API מגרסה 21 ואילך |
| שימוש בזיכרון | |
| פעילות ברשת | |
| FPS | API מגרסה 21 ואילך, וכולל SurfaceView |
תוצאות בדיקה מפורטות
תוצאות הבדיקה המפורטות זמינות למשך 90 יום אחרי שמריצים בדיקה, והן מאוחסנות בקטגוריה Google Cloud Storage (אבל הן גלויות גם במסוף Firebase). כדי להציג תוצאות בדיקה מפורטות בקטגוריה Cloud Storage, לוחצים על Test results בדף תוצאות ביצוע הבדיקה. גם אם תוצאות הבדיקה המפורטות כבר לא זמינות, עדיין תוכלו לראות אילו בדיקות עברו או נכשלו.
כדי לשמור תוצאות בדיקה מפורטות למשך יותר מ-90 יום, צריך לשלוח את תוצאות הבדיקה האלה לקטגוריית Cloud Storage שנמצאת בבעלותכם באמצעות האפשרות --results-bucket בשורת הפקודה של gcloud. לאחר מכן תוכלו להגדיר את ההגדרה Age כדי לקבוע למשך כמה זמן התוצאות יישמרו בקטגוריה Cloud Storage. במאמר תנאי מחזור חיים מוסבר איך לשנות את ההגדרה גיל.