Catch up on everthing we announced at this year's Firebase Summit. Learn more

צור ניסויי הודעות בתוך האפליקציה עם בדיקת A / B

כאשר אתה פונה למשתמשים שלך או מתחיל קמפיין שיווקי חדש, אתה רוצה לוודא שאתה עושה את זה נכון. בדיקת A/B יכולה לעזור לך למצוא את הניסוח והמצגת האופטימליים על ידי בדיקת גרסאות של הודעות בחלקים נבחרים של בסיס המשתמשים שלך. בין אם המטרה שלך היא שימור טוב יותר או המרה טובה יותר בהצעה, בדיקת A/B יכולה לבצע ניתוח סטטיסטי כדי לקבוע אם וריאנט מסר עולה על קבוצת הביקורת עבור היעד שבחרת.

כדי לבחון גרסאות של תכונות A/B עם קבוצת בקרה, בצע את הפעולות הבאות:

  1. צור את הניסוי שלך.
  2. אמת את הניסוי שלך במכשיר בדיקה.
  3. נהל את הניסוי שלך.

צור ניסוי

ניסוי המשתמש ב-Firebase In-App Messaging מאפשר לך להעריך גרסאות מרובות של הודעה אחת בתוך האפליקציה.

  1. כניסת Firebase, עדכון הגדרות שיתוף נתונים ולוודא כי שיתוף נתונים מופעל. ללא שיתוף נתונים, לניסוי שלך לא תהיה גישה לנתוני ניתוח.
  2. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  3. לחץ על צור ניסוי, ולאחר מכן בחר מסרים בתוך היישום כאשר תתבקש עבור השירות שאתה רוצה להתנסות.
  4. לחלופין, על קונסולת Firebase בסרגל הניווט, להרחיב Engage, ולאחר מכן לחץ In-App מסרים. לאחר מכן לחץ על ניסוי חדש.
  5. הזן שם ותיאור אופציונלי עבור הניסוי שלך, ולחץ על הבא.
  6. מלא את שדות הכוונת, ראשון בבחירת האפליקציה שמשתמשת הניסוי שלך. תוכל גם למקד לקבוצת משנה של המשתמשים שלך להשתתף בניסוי שלך על ידי בחירת אפשרויות הכוללות את הדברים הבאים:

    • גרסה: אחד או יותר גרסאות של האפליקציה שלך
    • קהל משתמש: קהלי Analytics רגילים משתמש יעד שעשוי להיכלל בניסוי
    • נכס משתמש: נכס אחד או יותר למשתמש Analytics למשתמשי בחירה שעלול להיכלל בניסוי
    • תחזית: קבוצות משתמשים שצופים למידה מכונה לעסוק בהתנהגות מסוימת
    • אזור / מדינה: אחת או יותר מדינות או אזורים למשתמשי בחירה שעלול להיכלל בניסוי
    • שפת התקן: אחד או יותר בשפות ובמקומות משמשים לבחירת משתמשים שעשויים להיכלל בניסוי
    • פתוח ראשון: מקד למשתמשים בהתבסס על הפעם הראשונה אי פעם הם פתחו את האפליקציה שלך
    • מעורבים באפליקציות אחרונות: מקד למשתמשים בהתבסס על הפעם האחרונה שהם באפליקציה שלך
  7. הגדר את אחוז משתמשי היעד: בחר את האחוז בסיס המשתמשים של האפליקציה שלך תואמות את הקריטריונים שנקבעו לפי מיקוד משתמשים שאתה רוצה לחלק באופן שווה בין קבוצת הביקורת לבין אחד או יותר גרסאות בניסוי. זה יכול להיות כל אחוז בין 0.01% ל-100%. האחוזים מוקצים מחדש באופן אקראי למשתמשים עבור כל ניסוי, כולל ניסויים משוכפלים.

  8. במקטע הגירסות, להגדיר הודעת בסיס אפליקציה כדי לשלוח לקבוצה המלאה באמצעות עיצוב הודעת ממשק אתה משתמש עבור קמפיין הודעות בתוך האפליקציה רגילה.

  9. כדי להוסיף גרסה לניסוי שלך, לחץ על הוסף Variant. כברירת מחדל, לניסויים יש קבוצת ביקורת אחת וגרסה אחת.

  10. (לא חובה) הזן שם עבור כל גרסה בניסוי להחליף את שמות Variant A, B Variant, וכו '

  11. (לא חובה) בחלק העליון של הסעיף גרסאות, לחץ על השוואת גרסאות כפתור להשוות הודעה אחת או יותר גרסאות side-by-side עם המסר הבסיסי.

  12. הגדר ערך יעד עבור הניסוי שלך לשימוש בעת הערכת גרסאות ניסוי יחד עם כל מדד נוסף רצוי מהרשימה הנפתחת. מדדים אלו כוללים יעדים מובנים (מעורבות, רכישות, הכנסות, שימור וכו'), אירועי המרה ב-Analytics ואירועי Analytics אחרים.

  13. הגדר תזמון עבור הניסוי:

    • קבע תאריך התחלה ותאריך סיום הניסוי.
    • הגדר כיצד הודעות בתוך האפליקציה יופעלו בכל הווריאציות.
  14. לחץ על סקור כדי להציל את הניסוי.

מותר לך עד 300 ניסויים לכל פרויקט, שיכולים להכיל עד 24 ניסויים רצים, והשאר כטיוטה או שהושלמו.

אמת את הניסוי שלך במכשיר בדיקה

עבור כל התקנה של Firebase תוכל לאחזר את אסימון אישור ההתקנה המשויך אליה. אתה יכול להשתמש באסימון הזה כדי לבדוק גרסאות ניסוי ספציפיות במכשיר בדיקה שהאפליקציה שלך מותקנת בו. כדי לאמת את הניסוי שלך במכשיר בדיקה, בצע את הפעולות הבאות:

  1. קבל את אסימון אישור ההתקנה באופן הבא:

    מָהִיר

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    קוטלין+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. על קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  3. לחץ טיוטה (ו / או ריצה לניסויי Config מרחוק), לרחף מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על ניהול מכשירי מבחן.
  4. הזן את אסימון אישור ההתקנה עבור מכשיר בדיקה ובחר את גרסת הניסוי לשליחה לאותו מכשיר בדיקה.
  5. הפעל את האפליקציה ואשר שהגרסה שנבחרה מתקבלת במכשיר הבדיקה.

כדי ללמוד עוד על תקנות Firebase, לראות ניהול התקנות Firebase .

נהל את הניסוי שלך

בין אם אתה יוצר ניסוי עם Config מרחוק, מחבר ההודעות או Firebase In-App Messaging, לאחר מכן תוכל לאמת ולהתחיל את הניסוי שלך, לעקוב אחר הניסוי שלך בזמן שהוא פועל, ולהגדיל את מספר המשתמשים הכלולים בניסוי הפועל שלך.

כאשר הניסוי שלך יסתיים, תוכל לשים לב להגדרות המשמשות את הגרסה הזוכה, ולאחר מכן להפיץ את ההגדרות הללו לכל המשתמשים. לחלופין, אתה יכול להריץ ניסוי אחר.

התחל ניסוי

  1. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  2. לחץ טיוטה, ולאחר מכן לחץ על הכותרת של הניסוי שלך.
  3. כדי לאמת כי יש לאפליקצית משתמשים אשר ייכללו בניסוי שלך, להרחיב את פירוט הטיוטה ובדוק שיש יותר מספר מ 0% בקטע המיקוד והפצה (למשל, 1% של משתמשים התואמים את הקריטריונים).
  4. כדי לשנות את הניסוי, לחץ על עריכה.
  5. כדי להתחיל את הניסוי, לחץ על התחל ניסוי. אתה יכול להריץ עד 24 ניסויים בכל פרויקט בכל פעם.

מעקב אחר ניסוי

לאחר שניסוי רץ במשך זמן מה, אתה יכול לבדוק את ההתקדמות שלו ולראות איך נראות התוצאות שלך עבור המשתמשים שהשתתפו בניסוי שלך עד כה.

  1. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  2. לחץ ריצה, ולאחר מכן לחץ על הכותרת של הניסוי שלך. בדף זה, תוכל להציג נתונים סטטיסטיים שונים שנצפו ובמודלים לגבי הניסוי המתנהל שלך, כולל הפריטים הבאים:

    • הבדל% מרמת בסיס: מדד של שיפור ערך עבור מגרסת נתון בהשוואה (הקבוצה או מלאה) הבסיס. מחושב על ידי השוואת טווח הערכים עבור הגרסה לטווח הערכים עבור קו הבסיס.
    • הסתברות בסיסית פעימה: ההסתברות העריכה כי מגרסת נתון תכה את הבסיס עבור הערך שנבחר.
    • observed_metric לכול משתמש: בהתבסס על תוצאות ניסוי, זהו הטווח חזה כי הערך, ייפול לתוך הזמן מעל.
    • סה"כ observed_metric : הערך המצטבר הנצפה עבור קבוצת הביקורת או וריאנט. הערך משמש כדי למדוד כמה טוב כול מבצעים גרסת ניסוי, וכן משמש לחישוב שיפור, טווח ערך, הסתברות בסיסית פעימה, והסתברות להיות וריאנט הטוב. בהתאם למדד הנמדד, עמודה זו עשויה להיות מתויגת "משך זמן למשתמש", "הכנסה למשתמש", "שיעור שימור" או "שיעור המרות".
  3. לאחר שהניסוי שלך רץ במשך זמן מה (לפחות 7 ימים עבור FCM והודעות בתוך האפליקציה או 14 ימים עבור Remote Config), הנתונים בדף זה מציינים איזו גרסה, אם בכלל, היא ה"מובילה". חלק מהמדידות מלוות בתרשים עמודות המציג את הנתונים בפורמט ויזואלי.

הפעל ניסוי לכל המשתמשים

לאחר שניסוי נמשך מספיק זמן כדי שיהיה לך "מוביל", או גרסה מנצחת, עבור מדד היעד שלך, תוכל להפיץ את הניסוי ל-100% מהמשתמשים. זה מאפשר לך לבחור גרסה לפרסום לכל המשתמשים קדימה. גם אם הניסוי שלך לא יצר מנצח ברור, אתה עדיין יכול לבחור להפיץ גרסה לכל המשתמשים שלך.

  1. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  2. לחץ שהושלמו או ריצה, לחץ ניסוי שאתה רוצה לרדד לכל המשתמשים, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על מרדדים וריאנט.
  3. הפעל את הניסוי שלך לכל המשתמשים על ידי ביצוע אחת מהפעולות הבאות:

    • עבור ניסוי שמשתמש מלחין ההודעות, להשתמש מרדדי שיח הודעה כדי לשלוח את ההודעה למשתמשים הממוקדים הנותרים שלא היו חלק בניסוי.
    • עבור ניסוי של Remote Config, בחר גרסה כדי לקבוע אילו ערכי פרמטר של Remote Config לעדכן. קריטריוני המיקוד שהוגדרו בעת יצירת הניסוי יתווספו כתנאי חדש בתבנית שלך, כדי להבטיח שההשקה משפיעה רק על משתמשים שאליהם הניסוי ממקד. לאחר לחיצת הסקירה ב מרחוק Config כדי לסקור את השינויים, לחץ על פרסם שינויים כדי להשלים את הפריסה.
    • עבור ניסוי של העברת הודעות בתוך האפליקציה, השתמש בתיבת הדו-שיח כדי לקבוע איזו גרסה יש להפעיל כקמפיין עצמאי להעברת הודעות בתוך האפליקציה. לאחר הבחירה, תופנה למסך הכתיבה של FIAM כדי לבצע שינויים (אם נדרש) לפני הפרסום.

הרחב ניסוי

אם תגלה שניסוי לא מביא מספיק משתמשים כדי ש-A/B Testing יכריז על מנהיג, תוכל להגדיל את התפוצה של הניסוי שלך כדי להגיע לאחוז גדול יותר מבסיס המשתמשים של האפליקציה.

  1. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  2. בחר את הניסוי הפועל שברצונך לערוך.
  3. בסקירה הכללית של הניסוי, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על ניסוי ריצה ערוך.
  4. שיח 'הצגת הכוונת אופציה להגדיל את אחוז המשתמשים שנמצאים הניסוי פועל כרגע. בחר גדול מספר מאחוז הנוכחי ולחץ על פרסם. הניסוי יידחק החוצה לאחוז המשתמשים שציינת.

שכפל או הפסק ניסוי

  1. במקטע לעסוק של קונסולת Firebase בסרגל הניווט, לחץ בדיקת A / B.
  2. לחץ שהושלמו או ריצה, לרחף מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על ניסוי כפול או עצור את הניסוי.

מיקוד למשתמש

אתה יכול למקד את המשתמשים שיש לכלול בניסוי שלך באמצעות הקריטריונים הבאים של מיקוד משתמשים.

קריטריון מיקוד מפעיל(ים) ערכים הערה
גִרְסָה מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי
הזן ערך עבור גרסת אפליקציה אחת או יותר שברצונך לכלול בניסוי.

כאשר המשתמש כלשהו של מכיל, אינו מכיל, או גפרורים בדיוק מפעילים, אתה יכול לספק רשימה מופרדת בפסיקים של ערכים.

בעת השימוש מכיל מפעילת regex, אתה יכול ליצור ביטויים רגילים RE2 פורמט. הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש ^ ועוגן $ להתאים בהתחלה, בסוף, או מכלול מחרוזת יעד.

קהלי משתמשים כולל את כל,
כולל לפחות אחד מ,
לא כולל את כולם,
אינו כולל לפחות אחד מהם
בחר קהל אחד או יותר של Analytics כדי למקד למשתמשים שעשויים להיכלל בניסוי שלך.
נכס משתמש לטקסט:
מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי

למספרים:
<, ≤, =, ≥, >
נכס משתמש של Analytics משמש לבחירת משתמשים שעשויים להיכלל בניסוי, עם מגוון אפשרויות לבחירת ערכי נכסי משתמש.

בלקוח, אתה יכול להגדיר רק ערכי מחרוזת עבור מאפייני משתמש. עבור תנאים המשתמשים באופרטורים מספריים, שירות התצורה המרוחקת ממיר את הערך של מאפיין המשתמש המתאים למספר שלם/צף.
בעת השימוש מכיל מפעילת regex, אתה יכול ליצור ביטויים רגילים RE2 פורמט. הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש ^ ועוגן $ להתאים בהתחלה, בסוף, או מכלול מחרוזת יעד.
נְבוּאָה לא מקד לקבוצות משתמשים המוגדרות על ידי חיזוי Firebase - לדוגמה, אלה שסביר להניח שיפסיקו להשתמש באפליקציה שלך, או משתמשים שצפויים לבצע רכישה בתוך האפליקציה. בחר אחד מהערכים שהוגדרו על ידי הכלי חיזויים של Firebase. אם אפשרות לא זמינה, ייתכן שתצטרך להצטרף לחיזוי Firebase על ידי ביקור בקטע חיזויים במסוף Firebase.
ארץ המכשיר לא מדינה או אזור אחד או יותר משמשים לבחירת משתמשים שעשויים להיכלל בניסוי.
שפת המכשיר לא שפה ומקומון אחד או יותר המשמשים לבחירת משתמשים שעשויים להיכלל בניסוי. קריטריון מיקוד זה זמין רק עבור תצורה מרחוק.
פתיחה ראשונה יותר מ
פחות מ
בֵּין
מקד למשתמשים על סמך הפעם הראשונה שהם פתחו את האפליקציה שלך, שצוין בימים. קריטריון מיקוד זה זמין רק עבור הודעות באפליקציה של Firebase.
מעורבות אחרונה באפליקציה יותר מ
פחות מ
בֵּין
מקד למשתמשים בהתבסס על הפעם האחרונה שהם היו מעורבים באפליקציה שלך, שצוין בימים. קריטריון מיקוד זה זמין רק עבור הודעות באפליקציה של Firebase.

מדדי A/B Testing

כשאתה יוצר את הניסוי שלך, אתה בוחר מדד המשמש להשוואה בין גרסאות הניסוי, ותוכל גם לבחור מדדים אחרים למעקב שיעזרו לך להבין טוב יותר כל וריאנט של ניסוי ולזהות תופעות לוואי משמעותיות (כגון קריסות אפליקציה). הטבלאות הבאות מספקות פרטים על אופן החישוב של ערכי יעדים ומדדים אחרים.

מדדי יעדים

מֶטרִי תיאור
שימור (יום אחד) מספר המשתמשים שחוזרים לאפליקציה שלך על בסיס יומי.
שימור (2-3 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 2-3 ימים.
שימור (4-7 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 4-7 ימים.
שימור (8-14 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 8-14 ימים.
שימור (15+ ימים) מספר המשתמשים שחוזרים לאפליקציה שלך 15 ימים או יותר לאחר שהשתמשו בה לאחרונה.
הודעה פתוחה עוקב אחר האם משתמש פותח את ההודעה שנשלחה על ידי מחבר ההודעות.
הכנסות מרכישה הערך המשולב עבור כל ecommerce_purchase ו in_app_purchase אירועים.
הכנסה משוערת של AdMob רווחים משוערים מ-AdMob.
סך ההכנסות משוערות ערך משולב לרכישה והכנסות משוערות מ-AdMob.
first_open אירוע Analytics המופעל כאשר משתמש פותח אפליקציה לראשונה לאחר התקנה או התקנה מחדש שלה. משמש כחלק ממשפך המרות.
notification_open אירוע Analytics המופעל כאשר משתמש פותח הודעה שנשלחה על ידי כותב ההודעות. משמש כחלק ממשפך המרות.

מדדים אחרים

מֶטרִי תיאור
משתמשים ללא קריסות אחוז המשתמשים שלא נתקלו בשגיאות באפליקציה שלך שזוהו על ידי Firebase Crashlytics SDK במהלך הניסוי.
notification_dismiss אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי מחבר ההודעות נדחית (אנדרואיד בלבד).
notification_receive אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי כותב ההודעות מתקבלת כשהאפליקציה נמצאת ברקע (אנדרואיד בלבד).
os_update ב- Analytics במקרה מסלולים כאשר מערכת ההפעלה למכשיר מתעדכנת על version.To חדש ללמוד עוד, ראה אירועים שנאספו באופן אוטומטי .
screen_view אירוע Analytics שעוקב אחר מסכים שנצפו באפליקציה שלך. כדי ללמוד עוד, ראה מסלול תצוגות מסך .
session_start אירוע Analytics שסופר הפעלות של משתמשים באפליקציה שלך. כדי ללמוד עוד, ראה אוטומטי אירועים שנאספו .
User_engagement אירוע Analytics המופעל מעת לעת כשהאפליקציה שלך נמצאת בקדמת הבמה. כדי ללמוד עוד, ראה אוטומטי אירועים שנאספו .