במדריך הזה מוסברים מושגים חשובים שקשורים Remote Config להשקות, כדי שתוכלו:
- איך עובדת החברות בקבוצת השקה
- מתי כדאי להשתמש בהשקה ומתי כדאי להשתמש בבדיקת A/B
- איך מפרשים את תוצאות ההשקה
הסבר על חברות בקבוצת השקה
כשיוצרים השקה חדשה ומקצים אחוז מסוים, מערכת Firebase מכניסה חלק מהקהל בגודל זהה לקבוצת בקרה כדי לקבל תוצאות מדויקות בהשוואה בין הביצועים של התכונה שהופעלה, וכך נוצרות הקבוצות הבאות.
- מופעל: המכשירים של המשתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהגדרתם בהשקה.
- בקרה: מכשירי משתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהיו מקבלים מ-Remote Config, ולא את הערך של הפריסה.
- לא הוקצה: המכשירים של המשתמשים בקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, אבל לא נעשה בהם שימוש בתוצאות ההשוואה של הפריסה.
כלומר, אם אתם משיקים את התכונה ל-2% מהמשתמשים, הם יתווספו לקבוצה 'מופעל' ועוד 2% מהמשתמשים יתווספו לקבוצה 'בקרה', שמשמשת להשוואה. 96% מהמשתמשים שלך נשארו בקבוצה 'לא הוקצו'.
הגישה הזו מאפשרת השוואה הוגנת בין הביצועים של משתמשים ומכשירים שמקבלים את ערך ההשקה לבין אלה שלא מקבלים אותו, ועוזרת לכם לקבוע בצורה יעילה אם ההשקה הצליחה או נכשלה בדף תוצאות ההשקה.
ההקצאה לקבוצת השקה עקבית בכל השלבים של ההשקה. כלומר, אם במהלך אותו השקה תצמצמו את האחוז ל-0%, כל המשתמשים יחזרו לקבל את ערך הפרמטר שהוגדר בתבנית Remote Config. אם תחליטו בהמשך להגדיל את אחוז ההשקה, משתמשים שהיו חלק מהקבוצות הקודמות 'מופעל' או 'בקרה' יחזרו לקבוצה שאליה הם שויכו במקור ויקבלו ערכים שתואמים לקבוצות האלה.
אחרי שמוודאים שההשקה הצליחה ומחליטים להשיק את התכונה באופן מלא ל-100% מהמשתמשים המטורגטים, Firebase מפסיק להשתמש בקבוצת הבקרה וכל המשתמשים והמכשירים המטורגטים מקבלים את ערך ההשקה.
מתי כדאי להשתמש בהשקה מדורגת ומתי בבדיקת A/B?
Remote Config ו-A/B Testing מתאימים לתרחישי שימוש שונים במקצת, ואפשר להשתמש בהם באופן משלים.
השקות הן הפצות הדרגתיות, ולרוב משמשות להשקת תכונה חדשה לקבוצה נבחרת של משתמשים. יכול להיות שתרצו לטרגט משתמשים במדינה מסוימת או משתמשים בגרסה מסוימת של האפליקציה. כדי לצמצם את הסיכון, כדאי להשתמש בהשקות מדורגות כדי לבדוק תכונות חדשות בסביבה אמיתית, עם אמצעי בקרה הדוקים, וכך לראות את הביצועים של התכונה. בנוסף, תוכלו לעקוב אחרי הביצועים של שירותי ה-Backend שלכם עם העומס הנוסף של התכונה החדשה, ולבצע הערכה של השימוש כדי לוודא שהשינוי ניתן להרחבה לפני שמשחררים אותו לקהל רחב יותר.
השקות הן כלי מצוין במצבים שבהם מטמיעים תכונות חדשות שמשנות באופן משמעותי את הפונקציונליות, שינויים שעשויים להוביל לתוצאות בלתי צפויות או שינויים שעשויים להשפיע על תשתית ה-Backend, על השירותים או על ממשקי ה-API החיצוניים.
A/B Testing מאפשרת להציג כמה גרסאות של תכונה או רכיב באפליקציה, לדוגמה, עדכון המראה והתחושה של ממשק המשתמש, שינוי הטקסט הפרסומי או עדכון רמת הקושי במשחק. לאחר מכן תוכלו להציג למשתמשים וריאציות שונות כדי ללמוד איזו אפשרות מניבה תוצאות טובות יותר על סמך המדד שבחרתם (כמו התעניינות המשתמשים, קליקים על המודעות והכנסות).
אפשר להשתמש ב-A/B Testing כדי לקבל החלטות שמבוססות על נתונים, לבצע אופטימיזציה ולהבין את ההעדפות של המשתמשים. השיטה הזו מתאימה במיוחד למצבים שבהם יש לכם כמה אפשרויות השוואה ויעדים ספציפיים מאוד. לדוגמה, A/B Testing מתאים לשינויים שבהם רוצים לבצע שינויים באפליקציה כדי לשפר מדד ספציפי, כמו בדיקה של מיקום מודעת באנר שמניב יותר קליקים.
מומלץ גם לשלב Remote Config השקות A/B Testing במסגרת אסטרטגיה כוללת: קודם יוצרים בדיקת A/B עם קבוצה מצומצמת של משתמשים כדי לקבוע את הווריאנט שמניב את התוצאות האופטימליות למדדים העיקריים. לאחר מכן, אחרי ש-A/B Testing קובע מי המוביל, יוצרים השקה עם הווריאציה המנצחת. עוקבים אחרי היציבות והמדדים המרכזיים שלו תוך כדי הגדלה הדרגתית של מספר המשתמשים שנחשפים אליו. אחרי שמשוכנעים בביצועים שלו, משיקים אותו ל-100% מהמשתמשים.
הסבר על תוצאות ההשקה
אחרי שמפרסמים השקה, מתחילים לראות תוצאות כמעט באופן מיידי.
יש כמה דרכים לראות את התוצאות:
- בדף Parameters (פרמטרים), מרחיבים את הפרמטר שהגדרתם להשקה, ומתחת להשקה לוחצים על View results (הצגת תוצאות).
- בדף השקות, לוחצים על שם ההשקה.
בתפריט לבחירת אפליקציות בחלק העליון של דף התוצאות אפשר לבחור תצוגות של אפליקציות ספציפיות. התוצאות מחולקות לכמה חלקים:
- בקטע Summary מוצג Rollout percentage שהוגדר, ויש אפשרות לבטל את ההשקה או לערוך אותה. כשמרחיבים את התצוגה, רואים סקירה כללית של פרטי ההגדרה של ההשקה והיסטוריית שינויים.
בקטע משתמשים מוצג מספר ההתקנות הייחודיות של האפליקציה שבהן נמשכה תבנית פריסה בקבוצות הבאות:
- מופעל: מספר המקרים של האפליקציה שתואמים לתנאי הפריסה הממוקדת ושערך הפריסה הוחזר עבורם.
- קבוצת בקרה: מספר המקרים של האפליקציה שתואמים לתנאי הפריסה של היעד ואחזרו את הערך ללא שינוי.
- יעד: המספר הכולל המשוער של המקרים שתואמים לתנאי שהגדרתם בהשקה, שאמורים לקבל את ההשקה או ערך ללא שינוי.
הקטעים Crashlytics וAnalytics, שבהם מוצגים נתוני השוואה לקבוצות שהופעלו ולקבוצות בקרה. אפשר לסנן את הנתונים שנאספו לפי 24 השעות האחרונות, מאז הפרסום האחרון או 7 הימים האחרונים. תצוגת ברירת המחדל היא '24 השעות האחרונות'.
Crashlytics תוצאות של השקות
בדוח אפשר לראות את המספר הכולל של קריסות, שגיאות לא קריטיות ומקרי ANR שהתרחשו במהלך ההשקה. בכל קטגוריית תוצאות מוצג תרשים עמודות שמשווה בין הסכומים הגולמיים של המשתמשים שהופעלה עבורם ההשקה לבין המשתמשים בקבוצת הבקרה שעמדו בתנאי ההשקה.
- קריסות: מספר הקריסות והאחוז שלהן, ומספר המשתמשים הייחודיים שחוו קריסות בקבוצות 'מופעל' ו'בקרה'.
- שגיאות לא קריטיות: מוצגים המספר והאחוז של השגיאות הלא קריטיות, מספר המשתמשים הייחודיים שחוו שגיאות לא קריטיות.
- מקרי ANR (אפליקציות ל-Android בלבד): מוצגים מספר האירועים מסוג 'האפליקציה לא מגיבה' והאחוז שלהם, וגם מספר המשתמשים הייחודיים שחוו אירוע ANR אחד או יותר.
כדי לראות מידע מפורט יותר על קריסות, אפשר ללחוץ על הצגת פרטים נוספים ב-Crashlytics. ייפתח הדף Crashlytics עם מסנן פעיל לפריסה שבדקתם את התוצאות שלה. התוצאות של ההשקה בדף Crashlytics מודדות את כל המשתמשים שנחשפו אי פעם לגרסה הרלוונטית, מופעלת או בקרה. אפשר לבחור להציג קריסות של קבוצת הבקרה, קריסות של קבוצה שהופעלה או את שתי האפשרויות.
Google Analytics תוצאות של השקות
בקטע Google Analyticsתוצאות ההשקה מוצגת השוואה בין מדדים של כל המשתמשים שנחשפו לקבוצות 'מופעל' או 'בקרה', בפירוט ובתצוגות גרפיות.Analytics מוצגים שלושה מדדים:
- הכנסה כוללת: הסכום הכולל של ההכנסות, כולל הכנסות מפרסום והכנסות מרכישות, בדולר ארה"ב. אפשר לסנן את התוצאות כדי להציג תוצאות ספציפיות להכנסות מפרסום או להכנסות מרכישות.
- סך כל ההמרות: המספר הכולל של כל אירועי ההמרה. אתם יכולים לסנן את התוצאות לפי ההמרה שאתם רוצים להדגיש.
- משך ההתעניינות הכולל: משך ההתעניינות הכולל של המשתמשים באחד מהווריאציות של ההשקה. משך ההתעניינות הכולל מוצג בפורמט שעות:דקות:שניות. לדוגמה, 01:31:28. בתרשים מוצגים נתונים מהתקופה שבחרתם מעל הקטע Crashlytics.