פתרון בעיות ב-Test Lab & שאלות נפוצות

בדף הזה מפורטות תשובות לשאלות נפוצות בנושא הרצת בדיקות באמצעות Firebase Test Lab, וגם עזרה בפתרון בעיות. יש גם תיעוד של בעיות מוכרות. אם לא מצאתם את מה שחיפשתם או שאתם צריכים עזרה נוספת, אתם יכולים להצטרף לערוץ #test-lab ב-Firebase Slack או לפנות אל התמיכה של Firebase.

פתרון בעיות

למה הבדיקה נמשכת כל כך הרבה זמן?

כשבוחרים מכשיר עם רמת קיבולת גבוהה בקטלוג Test Lab הבדיקות עשויות להתחיל מהר יותר. אם הקיבולת של המכשיר נמוכה, יכול להיות שהבדיקות יימשכו זמן רב יותר. אם מספר הבדיקות שהופעלו גדול בהרבה מהקיבולת של המכשירים שנבחרו, יכול להיות שיעבור זמן רב יותר עד שהבדיקות יסתיימו.

בדיקות שמופעלות בכל רמת קיבולת של מכשיר עשויות להימשך זמן רב יותר בגלל הגורמים הבאים:

• תנועת הגולשים, שמשפיעה על זמינות המכשיר ועל מהירות הבדיקה.
• כשלים במכשיר או בתשתית, שיכולים לקרות בכל שלב. כדי לבדוק אם יש תשתית מדווחת ל-Test Lab, אפשר לעיין בלוח הבקרה של הסטטוס של Firebase.

מידע נוסף על קיבולת המכשיר ב-Test Lab זמין במאמרים על קיבולת המכשיר ל-Android ול-iOS.

למה קיבלתי תוצאות לא חד-משמעיות של בדיקה?

תוצאות לא חד-משמעיות של בדיקות מתרחשות בדרך כלל בגלל ביטול של הרצת בדיקות או בגלל שגיאות בתשתית.

שגיאות בתשתית נגרמות מבעיות פנימיות ב-Test Lab, כמו שגיאות ברשת או התנהגויות לא צפויות של המכשיר. Test Lab המערכת מפסיקה באופן פנימי הפעלות של בדיקות שיוצרות שגיאות בתשתית כמה פעמים לפני שהיא מדווחת על תוצאה לא חד-משמעית. עם זאת, אפשר להשבית את הניסיונות החוזרים האלה באמצעות failFast.

כדי לגלות את הגורם לשגיאה, פועלים לפי השלבים הבאים:

1. כדאי לבדוק אם יש הפסקות זמניות ידועות בלוח הבקרה של הסטטוס של Firebase.

2. כדי לוודא שהבעיה ניתנת לשחזור, צריך לנסות שוב את הבדיקה ב-Test Lab.

   הערה: Test Lab לא מחייבת אתכם על שגיאות בתשתית.

3. אם אפשר, כדאי לנסות להריץ את הבדיקה במכשיר אחר או בסוג מכשיר אחר.

אם הבעיה נמשכת, אפשר לפנות אל Test Labהצוות בערוץ#test-lab ב-Firebase Slack.

למה הוספת שרדינג גרמה להרצת הבדיקות שלי למשך זמן ארוך יותר?

החלוקה לשברים עלולה לגרום לבדיקות להימשך זמן רב יותר אם מספר השברים שציינתם גדול ממספר המכשירים שזמינים לשימוש ב-Test Lab. כדי להימנע מהמצב הזה, כדאי לנסות לעבור למכשיר אחר. מידע נוסף על בחירת מכשיר אחר זמין במאמר קיבולת המכשיר.

למה לוקח כל כך הרבה זמן עד שהבדיקה מתחילה?

כששולחים בקשה לבדיקה, האפליקציה עוברת קודם אימות, חתימה מחדש וכו' כהכנה להרצת בדיקות במכשיר. בדרך כלל התהליך הזה מסתיים תוך כמה שניות, אבל הוא יכול להיות מושפע מגורמים כמו גודל האפליקציה.

אחרי שהאפליקציה מוכנה, מתוזמנות הרצות של בדיקות והן נשארות בתור עד שמכשיר יהיה מוכן להריץ אותן. עד שכל הרצות הבדיקה יסתיימו, הסטטוס של המטריצה יהיה 'בהמתנה' (ללא קשר לשאלה אם הרצות הבדיקה נמצאות בתור או שהן פועלות באופן פעיל).

הערה: הזמן שבו הבדיקה ממתינה למכשיר זמין לא נכלל בזמן החיוב.

למה לוקח כל כך הרבה זמן עד שהבדיקה מסתיימת?

אחרי שהבדיקה מסתיימת, המערכת מורידה את תוצרי הבדיקה מהמכשיר, מעבדת אותם ומעלה אותם אל Cloud Storage. משך הזמן של השלב הזה יכול להיות מושפע מכמות הארטיפקטים ומגודלם.

פתרון בעיות ספציפיות ל-Android

האפליקציה לא מחזירה נתונים ולא ניתן לאתר צילומי מסך

פריטי מידע (artifacts) של הרצת בדיקות (כמו צילומי מסך וקבצי יומן) מאוחסנים ב-Google Cloud Storage ומוצגים ישירות במסוף Firebase. אם ביצעתם את הרצת הבדיקה ב-90 הימים האחרונים, צריך לוודא שהקציתם תפקידים ברמת הפרויקט (בעלי הפרויקט, עריכת הפרויקט או צפייה בפרויקט). צריך גם לוודא ש-Cloud Audit Logging לא מופעל בפרויקט או בארגון.

אם ההפעלה בוצעה לפני יותר מ-90 יום, סביר להניח שהארטיפקטים של הבדיקה נמחקו אוטומטית. כדי לבדוק את הגדרת קטגוריית התוצאות, לוחצים על הכרטיסייה תוצאות הבדיקה בלוח הבקרה Test Lab. כברירת מחדל, האובייקטים נשמרים ב-result bucket למשך 90 יום.

כדי לשמור את תוצאות הבדיקה למשך זמן ארוך יותר, מריצים את הפקודה gcloud firebase test android run עם הדגל --results-bucket ומעבירים את שם קטגוריית התוצאות. מידע נוסף מופיע במאמרי העזרה של gcloud firebase test android run.

למה אני מקבל תוצאות חלקיות או חסרות של בדיקות מכשור?

כשמריצים בדיקות של מכשור, יכול להיות שיוצגו שגיאות בדיקה שמצביעות על תוצאות חלקיות שמכילות הודעות כמו Test run failed to complete. Expected x tests, received y (כאשר y קטן מ-x). השגיאה הזו מציינת שלא הייתה אפשרות לנתח את logcat עבור סמני התחלה או סיום של תרחיש בדיקה, שבדרך כלל נוצרים על ידי AndroidJUnitRunner.Test Lab

אלה כמה מהסיבות הנפוצות לבעיה הזו:

תיאור הבעיה	פתרון אפשרי
מקרה הבדיקה לא הופעל בגלל שהזמן הקצוב לתפוגה חלף. אם משך הזמן הכולל של הבדיקות ארוך יותר מהזמן הקצוב לתפוגה שציינתם או ארוך יותר מהזמן הקצוב לתפוגה המקסימלי, הפעולה Test Lab מבטלת את שאר תרחישי הבדיקה.	כדי לוודא שכל הבדיקות יושלמו, צריך להגדיל את הזמן הקצוב לתפוגה של המטריצה. אם עדיין לא עשיתם זאת, כדאי לפצל את הבדיקות כך שכל חלק יריץ קבוצת משנה של הבדיקות ויסתיים תוך פרק זמן קצר יותר. אם כבר הפעלתם את הפיצול, הגדילו את מספר הפיצולים.
השלמת תרחיש הבדיקה נכשלה כי הוא יצא מוקדם מדי או נתקע. יכול להיות שהבדיקה תסתיים לפני הזמן בגלל חריגה שלא נתפסה או בגלל שגיאת טענה. יכול להיות שמקרים של בדיקה ייתקעו בלולאה אינסופית או שלא יוכלו להמשיך, למשל אם האפליקציה לא מציגה את התצוגה הנכונה ומקרה הבדיקה לא יכול לבצע את הפעולה בממשק המשתמש.	בודקים את הסרטון ואת logcat כדי להבין באיזו נקודה הבדיקה הסתיימה.
קראש של רץ בדיקות בהתאמה אישית (כולל הרחבה של AndroidJUnitRunner) באופן בלתי צפוי או כתיבה של סמני התחלה או סיום של תרחיש בדיקה לא צפויים אל logcat.	בודקים את הקוד של כלי ההרצה של הבדיקות.
נכתבו יותר מדי יומנים אל logcat, מה שגרם לחריגה מהמאגר הזמני או לקריסה של התהליך logcat.	הפחתת פעולות הכתיבה ל-logcat.
האפליקציה שנבדקה קרסה.	מבצעים ניפוי באגים באפליקציה.

---

שאלות נפוצות

מהן המכסות ללא עלות של Test Lab? מה צריך לעשות אם נגמרים לי המינויים?

Firebase Test Lab מציע מכסות ללא עלות לבדיקה במכשירים ולשימוש ב-Cloud APIs. שימו לב: המכסה לבדיקות מבוססת על תוכנית התמחור הרגילה של Firebase, אבל המכסות של Cloud API לא מבוססות עליה.

• מכסת בדיקות

  מכסות הבדיקות נקבעות לפי מספר המכשירים שמשמשים להרצת הבדיקות. בתוכנית Firebase Spark יש מכסת בדיקות קבועה ללא עלות למשתמשים. בתוכנית Blaze, יכול להיות שהמכסות יגדלו אם השימוש שלכם ב-Google Cloud יגדל עם הזמן. אם הגעתם למכסת הבדיקות, תצטרכו לחכות עד למחרת או לשדרג למינוי Blaze אם יש לכם כרגע מינוי Spark. אם כבר יש לכם מינוי Blaze, אתם יכולים לבקש להגדיל את המכסה. מידע נוסף זמין במאמר בנושא מכסת בדיקה.

  אפשר לעקוב אחרי השימוש במכסת הבדיקות במסוף Google Cloud.

• מכסה ל-Cloud Testing API

  ל-Cloud Testing API יש שתי מכסות: בקשות ביום לכל פרויקט ובקשות בכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש במסוף Google Cloud.

• המכסה של Cloud Tool Results API

  ל-Cloud Tool Results API יש שתי מכסות: שאילתות ביום לכל פרויקט, ושאילתות בכל 100 שניות לכל פרויקט. אפשר לעקוב אחרי השימוש במסוף Google Cloud.

  מידע נוסף על מגבלות ה-API זמין במאמר מכסות של Cloud API ל-Test Lab. אם הגעתם למכסת API:

  • שולחים בקשה להגדלת המכסות על ידי עריכת המכסות ישירות במסוף Google Cloud (שימו לב שרוב המגבלות מוגדרות כברירת מחדל למקסימום), או

  • כדי לבקש הגדלה של מכסות ה-API, אפשר למלא טופס בקשה במסוף Google Cloud או לפנות אל התמיכה של Firebase.

איך אפשר לדעת אם התנועה שמגיעה לקצה העורפי שלי מגיעה מ-Test Lab?

מהקצה העורפי שלכם, אתם יכולים לבדוק את כתובת ה-IP של המקור מול טווח כתובות ה-IP שלנו כדי לדעת אם התנועה מגיעה ממכשירי בדיקה שמארחים ב-Firebase.

האם Test Lab פועל עם VPC-SC?

Test Lab לא פועל עם VPC-SC, שחוסם את ההעתקה של אפליקציות ופריטי בדיקה אחרים בין האחסון הפנימי של Test Lab לבין דלי התוצאות של המשתמשים.

איך מזהים בדיקות לא יציבות ב-Test Lab?

כדי לזהות התנהגות לא יציבה בבדיקות, מומלץ להשתמש באפשרות ‎--num-flaky-test-attempts . החיוב על הפעלות חוזרות של בדיקות שנכשלו או שהן נספרות במסגרת המכסה היומית, בדיוק כמו הפעלות רגילות של בדיקות.

זכור את הנקודות הבאות:

• אם מזוהה כשל, כל הבדיקה מופעלת מחדש. אין תמיכה בניסיון חוזר רק של תרחישי בדיקה שנכשלו.
• הפעלות חוזרות של בדיקות לא יציבות מתוזמנות להפעלה באותו הזמן, אבל לא מובטח שהן יפעלו במקביל, למשל, כשהתנועה חורגת ממספר המכשירים הזמינים.

הערה: שגיאות בתשתית לא קשורות לתכונת ההסרה של תוצאות שגויות, ולא מפעילות הרצות חוזרות של הסרת תוצאות שגויות.

שאלות נפוצות שספציפיות ל-iOS

האם Test Lab תומך ב-Appium,‏ Flutter/FlutterDriver,‏ ReactNative/Jest או Cucumber?

חלק מהפריטים האלה נמצאים בתוכנית הפיתוח שלנו, אבל כרגע אין לנו אפשרות להתחייב לתמיכה בפלטפורמות האלה לבדיקות ולפיתוח אפליקציות.

איפה אפשר למצוא פרטים על המכשיר, כמו רזולוציה וכו'?

מידע מפורט על המכשיר זמין דרך ה-API, ואפשר לגשת אליו מלקוח gcloud באמצעות הפקודה describe:

gcloud firebase test ios models describe MODEL

האם אפשר להשתמש ב-sharding בבדיקות iOS?

אין תמיכה מובנית ב-Sharding ב-Test Lab ל-iOS. עם זאת, אפשר להשתמש בלקוח Flank כדי לפצל את תרחישי הבדיקה של iOS.

הערה: שימוש ב-Flank iOS sharding יוצר מטריצות בדיקה נפרדות לכל shard.

כדי להשתמש בשיטה הזו, צריך להגדיר את המפתח OnlyTestIdentifiers ואת הערכים בקובץ .xctestrun. פרטים נוספים מופיעים בדף man בנושא xcodebuild.xctestrun.

למה חסרים סרטונים בתוצאות של בדיקה ב-iOS?

ב-iOS 18 ואילך, אנחנו לא יכולים לתמוך בסרטונים בתוצאות.

שאלות נפוצות שספציפיות ל-Android

האם Test Lab תומך במכשירים לבישים?

כן! ‫Test Lab תומך ב-Google Pixel Watch. עכשיו אפשר להריץ בדיקות באפליקציית Wear העצמאית שלכם בשעוני Google Pixel Watch. מידע נוסף על מכשירים זמין במאמר בדיקה במכשירים זמינים.Test Lab

האם Test Lab תומך במכשירי Google העדכניים?

כן! ‫Test Lab תומך ב-Google Pixel Tablet וב-Google Pixel Fold. אפשר להריץ את הבדיקות במכשירים פיזיים עצמאיים. מידע נוסף על מכשירים זמין במאמר בדיקה במכשירים זמינים.Test Lab

איך מזהים בדיקה פעילה ב-Test Lab?

אם אתם בודקים את האפליקציה ב-Firebase או מריצים בדיקות לדוח טרום-הפעלה ב-Play Console, אתם יכולים לבדוק אם הבדיקה מורצת במכשיר שמארח Firebase. לשם כך, צריך לבדוק את מאפיין המערכת firebase.test.lab בקובץ MainActivity. לאחר מכן, אפשר להריץ הצהרות נוספות על סמך הערך הבוליאני של testLabSetting. מידע נוסף זמין במאמר בנושא התנהגויות שונות של בדיקות.

האם Test Lab תומך ב-Appium,‏ Flutter/FlutterDriver,‏ ReactNative/Jest או Cucumber?

חלק מהפריטים האלה נמצאים בתוכנית הפיתוח שלנו, אבל כרגע אין לנו אפשרות להתחייב לתמיכה בפלטפורמות האלה לבדיקות ולפיתוח אפליקציות. עם זאת, אם יצרתם את האפליקציה באמצעות מסגרת שתומכת ב-Espresso (לדוגמה, Flutter), אתם יכולים לכתוב בדיקת מכשור באמצעות Espresso ואז להריץ את הבדיקה ב-Test Lab.

האם Test Lab תומך בבדיקת אפליקציות שעברו טשטוש, למשל באמצעות ProGuard או R8)?

Test Lab לא תומך באופן מפורש בהסתרת קוד או בביטול ההסתרה. האפליקציה כנראה תפעל, אבל כל נתוני האפליקציה שעברו טשטוש, כמו עקבות מחסנית, יופיעו ביומנים כנתונים שעברו טשטוש.

האם אפשר להשתמש במכשיר מתקפל במצבים שונים של קיפול ופריסה בזמן בדיקה ב-Test Lab?

כן! אפשר לבדוק את המכשיר המתקפל במצבים ותנוחות של מכשיר מתקפל.

מכשירים מתקפלים יכולים להיות במצבי קיפול שונים, כמו FLAT (פתוח לגמרי) או HALF_OPENED (בין פתוח לגמרי לסגור לגמרי).

לעומת זאת, תנוחות מורכבות מפריסת מכשיר ספציפית וממצב של מכשיר מתקפל. לדוגמה, מצב שולחן, שהוא מצב HALF_OPENED בכיוון אופקי, או מצב ספר, שהוא מצב HALF_OPENED בכיוון אנכי.

אם אתם מריצים בדיקות של מכשור, אתם יכולים להשתמש בספריית Jetpack WindowManager ולפעול לפי התיעוד בנושא בדיקת האפליקציה במכשירים מתקפלים כדי לבדוק מצבים ותצורות שונים.

לחלופין, המצבים הזמינים הם ספציפיים למכשיר, ואפשר ליצור איתם אינטראקציה באמצעות adb shell command cmd device_state.

• כדי להציג את המצב הנוכחי, מריצים את הפקודה adb shell cmd device_state state.
• כדי להגדיר או לעקוף את המצב הנוכחי, מריצים את הפקודה adb shell cmd device_state state <IDENTIFIER>.
• כדי לאפס את המצב, מריצים את הפקודה adb shell cmd device_state state reset.
• כדי לבדוק את המצבים הזמינים, מריצים את הפקודה adb shell cmd device_state print-states במכשיר המתקפל.

‫Google Pixel Fold (מזהה הדגם felix)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSED', app_accessible=true},
    DeviceState{identifier=1, name='HALF_OPENED', app_accessible=true},
    DeviceState{identifier=2, name='OPENED', app_accessible=true},
    DeviceState{identifier=3, name='REAR_DISPLAY_STATE', app_accessible=true},
]

‫Samsung Galaxy Z Fold4 (מזהה דגם q4q)

$ adb shell cmd device_state print-states
Supported states: [
    DeviceState{identifier=0, name='CLOSE', app_accessible=true},
    DeviceState{identifier=1, name='TENT', app_accessible=true},
    DeviceState{identifier=2, name='HALF_FOLDED', app_accessible=true},
    DeviceState{identifier=3, name='OPEN', app_accessible=true},
]

האם אפשר לנסות את Test Lab אם אין לי אפליקציה?

בשונה ממוצרים אחרים של Firebase, לא צריך להוסיף Firebase SDK כדי להשתמש ב-Test Lab. אם אין לכם אפליקציה, אתם יכולים להוריד קובץ APK באינטרנט או ליצור אפליקציה וקובץ APK לבדיקה מאחת הדוגמאות במאגר AndroidX ב-GitHub. שימו לב: כדי להריץ בדיקת Robo, צריך רק את קובץ ה-APK של האפליקציה. כדי להריץ בדיקת מכשור, צריך גם את האפליקציה וגם קובץ APK של בדיקה שנבנו מקוד המקור. מידע נוסף זמין במאמר בנושא בדיקות עם מכשור.

מידע נוסף על התכונות של Test Lab זמין במאמר תחילת הבדיקה ב-Android עם Firebase Test Lab.

באילו מכשירים הכי כדאי להשתמש לבדיקת השוואה בין צילומי מסך?

בדיקות השוואה של צילומי מסך הן בדיקות שבהן טענות הבדיקה מבוססות על השוואה בין תמונות מסך שהתקבלו במהלך הפעלת בדיקה לבין תמונות מוזהבות שמייצגות התנהגות צפויה. יכול להיות שבסוגי מכשירים מסוימים הבדיקות האלה יהיו פחות יציבות מאשר בסוגים אחרים. מומלץ לטרגט מכשירי אמולטור של Arm ‏ (*.arm) לסוגים האלה של בדיקות. מכשירי אמולטור של Arm משתמשים בתמונות שדומות מאוד לאמולטורים 'כלליים' של Android Studio, או זהות להם.

מומלץ גם לבדוק ספריות בדיקה שיכולות לעזור להפוך את בדיקות צילומי המסך ליציבות יותר בנוכחות שינויים צפויים.

האם Test Lab מעדכן מכשירים וירטואליים?

כן! מכשירים וירטואליים מתעדכנים כשמתבצעים השינויים הבאים:

1. עדכונים בתמונות קיימות
2. הוצאה משימוש של רמות API קודמות
3. נוספו רמות חדשות של Android API

איך מפעילים דוחות כיסוי?

כדי להפעיל דוחות כיסוי, מוסיפים את coverage=true לשדה environmentVariables. אם אתם משתמשים ב-Android Test Orchestrator, תצטרכו לספק ספרייה לאחסון תוצאות הכיסוי:

--environment-variables coverage=true,coverageFilePath=/sdcard/Download/

אם אתם לא משתמשים ב-Orchestrator, אתם יכולים לציין נתיב קובץ:

--environment-variables coverage=true,coverageFile=/sdcard/Download/coverage.ec

איפה אפשר למצוא פרטים על המכשיר, כמו רזולוציה, ממשקי ABI נתמכים וכו'?

מידע מפורט על המכשיר זמין דרך ה-API, ואפשר לגשת אליו מלקוח gcloud באמצעות הפקודה describe:

gcloud firebase test android models describe MODEL

---

בעיות מוכרות

‫Captchas לכניסה

בדיקת Robo לא יכולה לעקוף מסכי כניסה שנדרשת בהם פעולת משתמש נוספת מעבר להזנת פרטי כניסה, למשל השלמת CAPTCHA.

בעיות מוכרות שספציפיות ל-iOS

כניסה אוטומטית

אין תמיכה בכניסה אוטומטית באמצעות חשבון Google בבדיקות Robo ל-iOS+ (בטא).

בעיות מוכרות ספציפיות ל-Android

תמיכה ב-framework של ממשק משתמש

הבדיקה באמצעות Robo פועלת בצורה הטובה ביותר באפליקציות שמשתמשות ברכיבי ממשק משתמש מתוך מסגרת ממשק המשתמש של Android (כולל אובייקטים מסוג View,‏ ViewGroup ו-WebView). אם אתם משתמשים ב-Robo test כדי לבדוק אפליקציות שמשתמשות במסגרות אחרות של ממשק משתמש, כולל אפליקציות שמשתמשות במנוע המשחקים Unity, יכול להיות שהבדיקה תסתיים בלי לבדוק מעבר למסך הראשון.