במדריך הזה מוסברים מושגים חשובים שקשורים להשקות של Remote Config, כדי שתוכלו:
- הסבר על חברות בקבוצת השקה
- מתי כדאי להשתמש בהשקה מדורגת ומתי כדאי להשתמש בבדיקת A/B.
- איך מפרשים את תוצאות ההשקה
הסבר על חברות בקבוצת השקה
כשיוצרים השקה חדשה ומקצים אחוז מסוים, Firebase מקצה חלק בגודל זהה מהקהל לקבוצת בקרה כדי לקבל תוצאות מדויקות כשמשווים את הביצועים של התכונה שהופעלה. התוצאה היא הקבוצות הבאות.
- מופעל: המכשירים של המשתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהגדרתם בהשקה.
- שליטה: המכשירים של המשתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, ולא את הערך של הפריסה.
- לא הוקצה: מכשירי משתמשים בקבוצה הזו מקבלים את הערך שהיו מקבלים מ-Remote Config, אבל לא נעשה בהם שימוש בתוצאות ההשוואה של הפריסה.
כלומר, אם אתם משיקים את התכונה ל-2% מהמשתמשים, הם מתווספים לקבוצה 'מופעל', ועוד 2% מהמשתמשים מתווספים לקבוצת הבקרה, שמשמשת להשוואה. 96% מהמשתמשים שלכם נשארו בקבוצה 'לא הוקצו'.
הגישה הזו מאפשרת השוואה הוגנת בין הביצועים של משתמשים ומכשירים שמקבלים את ערך ההשקה לבין אלה שלא מקבלים אותו, ועוזרת לכם לקבוע בצורה יעילה אם ההשקה הצליחה או נכשלה בדף תוצאות ההשקה.
ההקצאה לקבוצת השקה עקבית בכל השלבים של ההשקה. כלומר, באותו השקה, אם תקטינו את האחוז ל-0%, כל המשתמשים יחזרו לקבל את ערך הפרמטר שהוגדר בתבנית Remote Config. אם תחליטו בהמשך להגדיל את אחוז ההשקה, משתמשים שהיו חלק מהקבוצות הקודמות 'מופעל' או 'בקרה' יחזרו לקבוצה שאליה הם שויכו במקור ויקבלו ערכים שתואמים לקבוצות האלה.
אחרי שמוודאים שההשקה הצליחה ומחליטים להשיק את התכונה באופן מלא ל-100% מהמשתמשים המטורגטים, Firebase כבר לא משתמש בקבוצת הבקרה וכל המשתמשים והמכשירים המטורגטים מקבלים את ערך ההשקה.
מתי כדאי להשתמש בהשקה מדורגת ומתי בבדיקת A/B?
Remote Config ו-A/B Testing מתאימים למקרים שונים במקצת, ואפשר להשתמש בהם באופן משלים.
השקות הן השקות הדרגתיות, ולרוב משתמשים בהן כדי להשיק תכונה חדשה לקבוצה נבחרת של משתמשים. יכול להיות שתרצו להגדיר קהל יעד של משתמשים במדינה מסוימת או משתמשים בגרסה מסוימת של האפליקציה. כדאי להשתמש בהשקות כדי לצמצם את הסיכון, כדי לבדוק תכונות חדשות בסביבה אמיתית עם אמצעי בקרה הדוקים, וכדי לראות את הביצועים של התכונה. בנוסף, תוכלו לעקוב אחרי הביצועים של שירותי ה-Backend שלכם עם העומס הנוסף של התכונה החדשה, ולבצע הערכה של השימוש כדי לוודא שהשינוי ניתן להרחבה לפני שתשיקו אותו לקהל רחב יותר.
השקות הן כלי מצוין לשימוש במצבים שבהם מטמיעים תכונות חדשות שמשנות באופן משמעותי את הפונקציונליות, שינויים שעשויים להוביל לתוצאות בלתי צפויות או שינויים שעשויים להשפיע על תשתית ה-Backend, על השירותים או על ממשקי ה-API החיצוניים.
A/B Testing מאפשרת להציג כמה גרסאות של תכונה או של רכיב באפליקציה, למשל, עדכון המראה והתחושה של ממשק המשתמש, שינוי הטקסט השיווקי או עדכון רמת הקושי במשחק. לאחר מכן תוכלו להציג וריאציות שונות למשתמשים כדי להבין איזו אפשרות מניבה תוצאות טובות יותר על סמך המדד שבחרתם (כמו אינטראקציה עם המשתמש, קליקים על מודעות והכנסות).
כדאי להשתמש ב-A/B Testing כדי לקבל החלטות שמבוססות על נתונים, לבצע אופטימיזציה ולהבין את ההעדפות של המשתמשים. השיטה הזו מתאימה במיוחד למצבים שבהם יש לכם כמה אפשרויות דומות ויעדים ספציפיים מאוד. לדוגמה, A/B Testing מתאים לשינויים שבהם רוצים לשפר מדד ספציפי באפליקציה, כמו בדיקה של מיקום מודעת באנר שמניב יותר קליקים.
מומלץ גם לשלב Remote Config השקות A/B Testing באסטרטגיה כוללת: קודם יוצרים בדיקת A/B עם קבוצה מצומצמת של משתמשים כדי לקבוע איזה וריאנט מניב את התוצאות האופטימליות למדדים המרכזיים. לאחר מכן, אחרי ש-A/B Testing יקבע משתנה מוביל, יוצרים השקה עם הווריאציה המנצחת. עוקבים אחרי היציבות והמדדים המרכזיים שלו כשמגדילים בהדרגה את מספר המשתמשים שנחשפים אליו, ואחרי שמשוכנעים בביצועים שלו, משיקים אותו ל-100% מהמשתמשים.
הסבר על תוצאות ההשקה
אחרי שמפרסמים השקה, אמורים לראות תוצאות כמעט באופן מיידי.
יש כמה דרכים לראות את התוצאות במסוף Firebase:
בדף DevOps & Engagement > הגדרת תצורה מרחוק > Parameters, מרחיבים את הפרמטר שהגדרתם להשקה, ומתחת להשקה לוחצים על View results.
בדף DevOps & Engagement > Remote Config > Rollouts, לוחצים על שם ההשקה.
בתפריט לבחירת אפליקציות בחלק העליון של הדף DevOps & Engagement > Remote Config > Results אפשר לבחור תצוגות של אפליקציות ספציפיות. התוצאות מחולקות לכמה קטעים:
- בקטע Summary מוצג Rollout percentage שהוגדר, ויש אפשרות לבטל את ההשקה או לערוך אותה. כשמרחיבים את הקטע, מוצגת סקירה כללית של פרטי ההגדרה של ההשקה והיסטוריית השינויים.
בקטע משתמשים מוצג מספר ההתקנות הייחודיות של האפליקציה שבהן נמשכה תבנית השקה בקבוצות הבאות:
- מופעל: מספר המקרים של האפליקציה שתואמים לתנאי ההשקה המדורגת ושאחזרו את ערך ההשקה המדורגת.
- קבוצת בקרה: מספר המקרים של האפליקציה שתואמים לתנאי הפריסה של היעד ושבהם נשלף הערך ללא שינוי.
- יעד: המספר הכולל המשוער של המקרים שתואמים לתנאי שהגדרתם בהשקה, שאליהם יגיעו ההשקה או ערך ללא שינוי.
בקטעים Crashlytics וAnalytics מוצגים נתוני השוואה של קבוצות מופעלות וקבוצות בקרה. אפשר לסנן את הנתונים שנאספו לפי 24 השעות האחרונות, מאז הפרסום האחרון או 7 הימים האחרונים. תצוגת ברירת המחדל היא '24 השעות האחרונות'.
Crashlytics תוצאות של השקות
אפשר לראות את המספר הכולל של קריסות, שגיאות לא קריטיות ומקרי ANR שהתרחשו במהלך ההשקה. בכל קטגוריית תוצאות מוצג תרשים עמודות שמשווה בין הסכומים הגולמיים של המשתמשים שהופעלה עבורם ההשקה לבין המשתמשים בקבוצת הבקרה שעמדו בתנאי ההשקה.
- קריסות: מספר הקריסות והאחוז שלהן, ומספר המשתמשים הייחודיים שנתקלו בקריסות בקבוצות 'מופעל' ו'קבוצת בקרה'.
- שגיאות לא קריטיות: מוצגים המספר והאחוז של שגיאות לא קריטיות, מספר המשתמשים הייחודיים שחוו שגיאות לא קריטיות.
- מקרי ANR (באפליקציות ל-Android בלבד): מוצגים מספר האירועים מסוג 'האפליקציה לא מגיבה' והאחוז שלהם, וגם מספר המשתמשים הייחודיים שחוו אירוע ANR אחד או יותר.
כדי לראות מידע מפורט יותר על קריסות, אפשר ללחוץ על הצגת פרטים נוספים בCrashlytics. ייפתח הדף Crashlytics עם מסנן פעיל לפריסה שבדקתם את התוצאות שלה. תוצאות ההשקה בדף Crashlytics מודדות את כל המשתמשים שנחשפו אי פעם לגרסה הרלוונטית, מופעלת או בקרה. אפשר לבחור להציג קריסות של קבוצת הבקרה, קריסות של הקבוצה שהופעלה או את שתי האפשרויות.
Google Analytics תוצאות של השקות
בקטע Google Analyticsתוצאות ההשקה מוצגים השוואה של Analyticsמדדים עבור כל המשתמשים שנחשפו לקבוצות 'מופעל' או 'בקרה', בפירוט ובתצוגות גרפיות. יש שלושה מדדים:
- הכנסה כוללת: הסכום הכולל של ההכנסות, כולל הכנסות מפרסום והכנסות מרכישות, בדולר ארה"ב. אפשר לסנן את התוצאות כדי להציג תוצאות ספציפיות לגבי הכנסות מפרסום או הכנסות מרכישות.
- סך ההמרות: המספר הכולל של כל אירועי ההמרה. אפשר לסנן את התוצאות לפי ההמרה שרוצים להדגיש.
- משך ההתעניינות הכולל: משך ההתעניינות הכולל של המשתמשים באחד מהווריאציות של ההשקה. משך ההתעניינות הכולל מוצג בפורמט שעות:דקות:שניות. לדוגמה, 01:31:28. בתרשים מוצגים נתונים מהתקופה שבחרתם בקטע Crashlytics שלמעלה.