במדריך הזה מוסברים מושגי מפתח שקשורים להשקות של Remote Config, כדי שתוכלו:
- איך פועלת החברות בקבוצת ההשקה
- מתי כדאי להשתמש בהשקה ומתי כדאי להשתמש בבדיקת A/B.
- איך מפרשים את תוצאות ההשקה
הסבר על החברות בקבוצת ההשקה
כשיוצרים השקה חדשה ומקצים לה אחוז מסוים, מערכת Firebase מקצה חלק בגודל זהה מהקהל לקבוצת בקרה, כדי לקבל תוצאות מדויקות בהשוואה של ביצועי התכונה המופעלת. כך נוצרות הקבוצות הבאות:
- מופעל: מכשירי המשתמשים שמוקצים לקבוצה הזו מקבלים את הערך שהגדרתם בהשקה.
- בקרה: מכשירי המשתמשים שמוקצים לקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, ולא את הערך של ההשקה.
- לא הוקצה: מכשירי המשתמשים בקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, אבל לא משמשים בתוצאות ההשוואה של ההשקה.
כלומר, אם אתם משיקים את התכונה ל-2% מהמשתמשים, הם מתווספים לקבוצה "מופעל" ו-2% נוספים מהמשתמשים מתווספים לקבוצת הבקרה, שמשמשת להשוואה. 96% מהמשתמשים נשארים בקבוצה "לא הוקצו".
הגישה הזו מבטיחה השוואה הוגנת בין הביצועים של המשתמשים והמכשירים שמקבלים את ערך ההשקה לבין אלה שלא, ומאפשרת לכם לקבוע ביעילות את ההצלחה או הכישלון של ההשקה בדף תוצאות ההשקה.
ההקצאה לקבוצת ההשקה היא עקבית בכל השלבים של ההשקה. כלומר, אם תפחיתו את האחוז ל-0% באותה השקה, כל המשתמשים יחזרו לקבל את ערך הפרמטר שמוגדר בתבנית Remote Config. אם תחליטו בהמשך להגדיל את אחוז ההשקה, משתמשים שהיו חלק מהקבוצות הקודמות "מופעל" או "בקרה" יחזרו לקבוצה שאליה הוקצו במקור ויקבלו ערכים שתואמים לקבוצות האלה.
אחרי שמוודאים שהגרסה פועלת כמו שצריך ומחליטים להשיק אותה ל-100% ממשתמשי היעד, Firebase מפסיקה להשתמש בקבוצת הבקרה וכל משתמשי היעד והמכשירים מקבלים את ערך ההשקה.
מתי כדאי להשתמש בהשקה ומתי בבדיקת A/B?
השקות של Remote Config ו-A/B Testing מתאימות לתרחישים שונים, ואפשר להשתמש בהן באופן משלים.
השקות הן הפצות הדרגתיות, ולרוב משתמשים בהן כדי להשיק תכונה חדשה לקבוצה נבחרת של משתמשים. לדוגמה, אם אתם רוצים לטרגט משתמשים במדינה מסוימת או משתמשים בגרסה ספציפית של האפליקציה. אתם יכולים להשתמש בהשקות כדי לצמצם סיכונים, לבדוק תכונות חדשות בסביבה אמיתית עם אמצעי בקרה קפדניים, ולראות איך התכונה פועלת. אתם יכולים גם לעקוב אחרי הביצועים של שירותי הקצה העורפי עם העומס הנוסף של התכונה החדשה, ולחשב את השימוש המשוער כדי לוודא שהשינוי ניתן להתאמה לפני ההשקה לקהל רחב יותר.
השקות הן כלים מצוינים למצבים שבהם אתם מטמיעים תכונות חדשות שמשנות באופן משמעותי את הפונקציונליות, שינויים שעלולים להוביל לתוצאות בלתי צפויות או שינויים שעלולים להשפיע על התשתית לקצה העורפי, על השירותים או על ממשקי ה-API החיצוניים.
A/B Testing מאפשר להציג כמה גרסאות של תכונה או רכיב באפליקציה, למשל, לעדכן את המראה והתחושה של ממשק המשתמש, לשנות את הטקסט של המודעה, לעדכן את רמת הקושי של המשחק. אחרי זה, אתם יכולים לחשוף את המשתמשים לווריאציות שונות כדי לראות איזו אפשרות מניבה תוצאות טובות יותר, על סמך המדד שבחרתם (כמו התעניינות המשתמשים, קליקים על מודעות והכנסות).
אתם יכולים להשתמש ב-A/B Testing כדי לקבל החלטות מבוססות-נתונים, לבצע אופטימיזציה ולהבין את ההעדפות של המשתמשים. היא מתאימה במיוחד למצבים שבהם יש כמה אפשרויות להשוואה ויעדים ספציפיים מאוד. לדוגמה, A/B Testing מתאימה לשינויים שבהם רוצים לשנות את האפליקציה כדי לשפר מדד ספציפי, כמו בדיקה של מיקום מודעת הבאנר שמניב יותר קליקים.
מומלץ גם לשלב בין השקות של Remote Config ו-A/B Testing במסגרת אסטרטגיה כוללת: קודם יוצרים בדיקת A/B עם קבוצה מוגבלת של משתמשים כדי לקבוע איזה וריאנט מניב את התוצאות האופטימליות במדדים העיקריים. אחרי ש-A/B Testing יקבע גרסה מובילה, יוצרים השקה עם הגרסה הזוכה. עוקבים אחרי היציבות והמדדים העיקריים של הגרסה, מגדילים בהדרגה את מספר המשתמשים שנחשפים אליה, וכשמרוצים מהביצועים שלה, משיקים אותה ל-100% מהמשתמשים.
הסבר על תוצאות ההשקה
אחרי שמפרסמים השקה, התוצאות אמורות להופיע כמעט מיד.
יש כמה דרכים להציג את התוצאות במסוף Firebase:
בדף DevOps & Engagement (DevOps ומעורבות) > Remote Config (הגדרת תצורה מרחוק) > Parameters (פרמטרים), מרחיבים את הפרמטר שהגדרתם להשקה ומתחת להשקה לוחצים על View results (הצגת התוצאות).
בדף DevOps & Engagement > הגדרת תצורה מרחוק > Rollouts, לוחצים על שם ההשקה.
בורר האפליקציות בחלק העליון של הדף DevOps & Engagement (DevOps ומעורבות) > Remote Config (הגדרת תצורה מרחוק) > Results (תוצאות) מאפשר לבחור תצוגות של אפליקציות ספציפיות. התוצאות מחולקות לכמה קטעים:
- הקטע סיכום, שבו מוצג אחוז ההשקה שהוגדר, ובו אפשר לבטל או לערוך את ההשקה. כשמרחיבים את הקטע, מוצגת סקירה כללית של פרטי ההגדרות של ההשקה והיסטוריית השינויים.
בקטע Users מוצג מספר ההתקנות הייחודיות של האפליקציה ששלפו תבנית השקה בקבוצות הבאות:
- מופעל: מספר המופעים של האפליקציה שתואמים לתנאי ההשקה המטורגטת ושלפו את ערך ההשקה.
- בקרה: מספר המופעים של האפליקציה שתואמים לתנאי ההשקה המטורגטת ושלפו את הערך ללא שינוי.
- יעד: המספר הכולל המשוער של המופעים שתואמים לתנאי שהגדרתם בהשקה, שאמורים לקבל את ההשקה או ערך ללא שינוי.
הקטעים Crashlytics ו-Analytics, שבהם מוצגים נתוני השוואה בין קבוצת הניסוי לקבוצת הבקרה. אפשר לסנן את הנתונים שנאספו לפי 24 השעות האחרונות, מאז הפרסום האחרון או 7 הימים האחרונים. 24 השעות האחרונות היא תצוגת ברירת המחדל.
Crashlytics תוצאות להשקות
אתם יכולים לראות את המספר הכולל של קריסות, אירועים לא קריטיים ומקרי ANR שהתרחשו במהלך ההשקה. בכל קטגוריית תוצאות מוצג תרשים עמודות שמשווה בין המספרים הכוללים של המשתמשים בקבוצת ההפעלה ובקבוצת הבקרה שעמדו בתנאי ההשקה.
- קריסות: המספר והאחוז של הקריסות, ומספר המשתמשים הייחודיים שנתקלו בקריסות בקבוצת הניסוי ובקבוצת הבקרה.
- שגיאות לא קריטיות: מספר ואחוז השגיאות הלא קריטיות, ומספר המשתמשים הייחודיים שנתקלו בשגיאות לא קריטיות.
- מקרי ANR (אפליקציות ל-Android בלבד): המספר והאחוז של אירועי "האפליקציה לא מגיבה", וגם מספר המשתמשים הייחודיים שנתקלו באירוע ANR אחד או יותר.
כדי לקבל מידע מפורט יותר על קריסות, אפשר ללחוץ על הצגת פרטים נוספים ב-Crashlytics. ייפתח הדף Crashlytics עם מסנן פעיל להשקה שאת התוצאות שלה בדקתם. תוצאות ההשקה בדף Crashlytics מודדות את כל המשתמשים שנחשפו אי פעם לווריאנט המתאים, מופעל או בקרה. אתם יכולים לבחור אם לראות את הקריסות בקבוצת הבקרה, את הקריסות בקבוצה הפעילה או את הקריסות בשתי הקבוצות.
Google Analytics תוצאות להשקות
בקטע "תוצאות ההשקה של Google Analytics" מוצגת השוואה בין המדדים של Analytics לכל המשתמשים שנחשפו אי פעם לקבוצות "מופעל" או "בקרה", בתצוגות מפורטות ובתצוגות תרשים. יש שלושה מדדים:
- סה"כ הכנסות: הסכום הכולל של ההכנסות, כולל הכנסות מפרסום והכנסות מרכישות, בדולר ארה"ב. אפשר לסנן את התוצאות כדי להציג תוצאות ספציפיות של הכנסות מפרסום או הכנסות מרכישות.
- סה"כ המרות: המספר הכולל של כל אירועי ההמרה. אפשר לסנן את התוצאות לפי ההמרה שרוצים להדגיש.
- משך ההתעניינות הכולל: משך ההתעניינות הכולל של המשתמשים באחת מהגרסאות של ההשקה. משך ההתעניינות הכולל מוצג בפורמט שעות:דקות:שניות. לדוגמה, 01:31:28. בתרשים מוצגים נתונים מהתקופה שבחרתם מעל הקטע Crashlytics.