צור ניסויי הודעות בתוך האפליקציה עם בדיקות A/B

כאשר אתה פונה למשתמשים שלך או מתחיל קמפיין שיווקי חדש, אתה רוצה לוודא שאתה עושה את זה נכון. בדיקת A/B יכולה לעזור לך למצוא את הניסוח והמצגת האופטימליים על ידי בדיקת גרסאות של הודעות בחלקים נבחרים של בסיס המשתמשים שלך. בין אם המטרה שלך היא שימור טוב יותר או המרה טובה יותר בהצעה, בדיקת A/B יכולה לבצע ניתוח סטטיסטי כדי לקבוע אם וריאנט מסר עולה על קו הבסיס עבור היעד שבחרת.

כדי לבחון גרסאות A/B עם קו בסיס, בצע את הפעולות הבאות:

  1. צור את הניסוי שלך.
  2. אמת את הניסוי שלך במכשיר בדיקה.
  3. נהל את הניסוי שלך.

צור ניסוי

ניסוי המשתמש ב-Firebase In-App Messaging מאפשר לך להעריך גרסאות מרובות של הודעה אחת בתוך האפליקציה.

  1. היכנס למסוף Firebase וודא ש-Google Analytics מופעל בפרויקט שלך כך שלניסוי תהיה גישה לנתוני Analytics.

    אם לא הפעלת את Google Analytics בעת יצירת הפרויקט שלך, תוכל להפעיל אותו בכרטיסייה אינטגרציות , אליה תוכל לגשת באמצעות > הגדרות פרויקט במסוף Firebase .

  2. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .

  3. לחץ על צור ניסוי ולאחר מכן בחר הודעות בתוך האפליקציה כאשר תתבקש להזין את השירות שברצונך להתנסות בו.

  4. לחלופין, בסרגל הניווט של מסוף Firebase , הרחב את Engage , ולאחר מכן לחץ על הודעות בתוך האפליקציה . לאחר מכן לחץ על ניסוי חדש .

  5. הזן שם ותיאור אופציונלי עבור הניסוי שלך ולחץ על הבא .

  6. מלא את שדות המיקוד , תחילה בחר את האפליקציה שמשתמשת בניסוי שלך. תוכל גם למקד לקבוצת משנה של המשתמשים שלך להשתתף בניסוי שלך על ידי בחירת אפשרויות הכוללות את הדברים הבאים:

    • גרסה: גרסה אחת או יותר של האפליקציה שלך
    • קהל משתמשים: קהלים ב-Analytics משמשים למיקוד משתמשים שעשויים להיכלל בניסוי
    • נכס משתמש: נכס משתמש אחד או יותר של Analytics לבחירת משתמשים שעשויים להיכלל בניסוי
    • מדינה/אזור: מדינה או אזור אחד או יותר לבחירת משתמשים שעשויים להיכלל בניסוי
    • שפת מכשיר: שפה אחת או יותר מקומיות המשמשות לבחירת משתמשים שעשויים להיכלל בניסוי
    • פתיחה ראשונה: מקד למשתמשים על סמך הפעם הראשונה שהם פתחו את האפליקציה שלך
    • מעורבות אחרונה באפליקציה: מקד למשתמשים על סמך הפעם האחרונה שהם היו מעורבים באפליקציה שלך
  7. הגדר את אחוז משתמשי היעד: בחר את האחוז מבסיס המשתמשים של האפליקציה שלך התואם את הקריטריונים שנקבעו תחת ' מיקוד משתמשים ' שברצונך לחלק באופן שווה בין קו הבסיס לגרסה אחת או יותר בניסוי שלך. זה יכול להיות כל אחוז בין 0.01% ל-100%. האחוזים מוקצים מחדש באופן אקראי למשתמשים עבור כל ניסוי, כולל ניסויים משוכפלים.

  8. במקטע וריאציות , הגדר הודעה בסיסית בתוך האפליקציה לשליחת קבוצת הבסיס באמצעות ממשק עיצוב ההודעות שבו אתה משתמש עבור מסע פרסום רגיל להעברת הודעות בתוך האפליקציה.

  9. כדי להוסיף וריאנט לניסוי שלך, לחץ על הוסף וריאנט . כברירת מחדל, לניסויים יש קו בסיס אחד וגרסה אחת.

  10. (אופציונלי) הזן שם עבור כל וריאציה בניסוי שלך כדי להחליף את השמות וריאנט A , וריאנט B וכו'.

  11. (אופציונלי) בחלק העליון של קטע וריאציות , לחץ על הלחצן השווה וריאציות כדי להשוות גרסה אחת נוספת של הודעה זו לצד זו עם הודעת הבסיס.

  12. הגדר ערך יעד עבור הניסוי שלך לשימוש בעת הערכת גרסאות ניסוי יחד עם כל מדד נוסף רצוי מהרשימה הנפתחת. מדדים אלו כוללים יעדים מובנים (מעורבות, רכישות, הכנסות, שימור וכו'), אירועי המרה ב-Analytics ואירועי Analytics אחרים.

  13. הגדר תזמון עבור הניסוי:

    • הגדר תאריך התחלה וסיום עבור הניסוי.
    • הגדר כיצד הודעות בתוך האפליקציה יופעלו בכל הווריאציות.
  14. לחץ על סקור כדי לשמור את הניסוי שלך.

מותר לך עד 300 ניסויים לכל פרויקט, שיכולים להכיל עד 24 ניסויים רצים, והשאר כטיוטה או שהושלמו.

אמת את הניסוי שלך במכשיר בדיקה

עבור כל התקנה של Firebase, תוכל לאחזר את אסימון אישור ההתקנה המשויך אליה. אתה יכול להשתמש באסימון הזה כדי לבדוק גרסאות ניסוי ספציפיות במכשיר בדיקה שהאפליקציה שלך מותקנת בו. כדי לאמת את הניסוי שלך במכשיר בדיקה, בצע את הפעולות הבאות:

  1. קבל את אסימון אישור ההתקנה באופן הבא:

    מָהִיר

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. בסרגל הניווט של מסוף Firebase , לחץ על בדיקת A/B .
  3. לחץ על טיוטה (ו/או פועל עבור ניסויי תצורה מרחוק), העבר את העכבר מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על נהל התקני בדיקה .
  4. הזן את אסימון אישור ההתקנה עבור מכשיר בדיקה ובחר את גרסת הניסוי לשליחה לאותו מכשיר בדיקה.
  5. הפעל את האפליקציה ואשר שהגרסה שנבחרה מתקבלת במכשיר הבדיקה.

למידע נוסף על התקנות Firebase, ראה ניהול התקנות Firebase .

נהל את הניסוי שלך

בין אם אתה יוצר ניסוי עם Config מרחוק, מחבר ההודעות או Firebase In-App Messaging, לאחר מכן תוכל לאמת ולהתחיל את הניסוי שלך, לעקוב אחר הניסוי שלך בזמן שהוא פועל ולהגדיל את מספר המשתמשים הכלולים בניסוי הפועל שלך.

כאשר הניסוי שלך יסתיים, תוכל לשים לב להגדרות המשמשות את הגרסה הזוכה, ולאחר מכן להפיץ את ההגדרות הללו לכל המשתמשים. לחלופין, אתה יכול להריץ ניסוי אחר.

התחל ניסוי

  1. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על טיוטה ולאחר מכן לחץ על כותרת הניסוי שלך.
  3. כדי לוודא שלאפליקציה שלך יש משתמשים שייכללו בניסוי שלך, הרחב את פרטי הטיוטה ובדוק אם יש מספר גדול מ -0% בקטע מיקוד והפצה (לדוגמה, 1% מהמשתמשים התואמים את הקריטריונים ).
  4. כדי לשנות את הניסוי, לחץ על ערוך .
  5. כדי להתחיל את הניסוי, לחץ על התחל ניסוי . אתה יכול להריץ עד 24 ניסויים בכל פרויקט בכל פעם.

מעקב אחר ניסוי

לאחר שניסוי פועל במשך זמן מה, אתה יכול לבדוק את ההתקדמות שלו ולראות איך נראות התוצאות שלך עבור המשתמשים שהשתתפו בניסוי שלך עד כה.

  1. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על פועל ולאחר מכן לחץ על כותרת הניסוי שלך. בדף זה, תוכל להציג נתונים סטטיסטיים שונים שנצפו ובמודלים לגבי הניסוי המתנהל שלך, כולל הפריטים הבאים:

    • % הבדל מקו הבסיס : מדד לשיפור של מדד עבור וריאנט נתון בהשוואה לקו הבסיס. מחושב על ידי השוואת טווח הערכים של הגרסה לטווח הערכים של קו הבסיס.
    • הסתברות לנצח את קו הבסיס : ההסתברות המשוערת לכך שגרסה נתונה מנצחת את קו הבסיס עבור המדד שנבחר.
    • observed_metric למשתמש : בהתבסס על תוצאות הניסוי, זהו הטווח החזוי שאליו ייכנס הערך עם הזמן.
    • Total observed_metric : הערך המצטבר שנצפה עבור קו הבסיס או הגרסה. הערך משמש למדידת הביצועים של כל וריאנט ניסוי ומשמש לחישוב שיפור , טווח ערכים , הסתברות לנצח את קו הבסיס והסתברות להיות הגרסה הטובה ביותר . בהתאם למדד הנמדד, עמודה זו עשויה להיות מתויגת "משך זמן למשתמש", "הכנסה למשתמש", "שיעור שימור" או "שיעור המרות".
  3. לאחר שהניסוי שלך רץ במשך זמן מה (לפחות 7 ימים עבור FCM והודעות בתוך האפליקציה או 14 ימים עבור Remote Config), הנתונים בדף זה מציינים איזו גרסה, אם בכלל, היא ה"מובילה". חלק מהמדידות מלוות בתרשים עמודות המציג את הנתונים בפורמט ויזואלי.

הפעל ניסוי לכל המשתמשים

לאחר שניסוי נמשך מספיק זמן כדי שיהיה לך "מוביל", או גרסה מנצחת, עבור מדד היעד שלך, תוכל להפיץ את הניסוי ל-100% מהמשתמשים. זה מאפשר לך לבחור גרסה לפרסום לכל המשתמשים קדימה. גם אם הניסוי שלך לא יצר מנצח ברור, אתה עדיין יכול לבחור להפיץ גרסה לכל המשתמשים שלך.

  1. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על הושלם או פועל , לחץ על ניסוי שברצונך להפיץ לכל המשתמשים, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על הפעל גרסה .
  3. הפעל את הניסוי שלך לכל המשתמשים על ידי ביצוע אחת מהפעולות הבאות:

    • עבור ניסוי המשתמש ב- Notifications composer , השתמש בתיבת הדו-שיח ' הפצת הודעה ' כדי לשלוח את ההודעה לשאר המשתמשים הממוקדים שלא היו חלק מהניסוי.
    • עבור ניסוי של Remote Config , בחר גרסה כדי לקבוע אילו ערכי פרמטר של Remote Config לעדכן. קריטריוני המיקוד שהוגדרו בעת יצירת הניסוי יתווספו כתנאי חדש בתבנית שלך, כדי להבטיח שההשקה משפיעה רק על משתמשים שאליהם הניסוי ממקד. לאחר לחיצה על סקירה ב-Remote Config כדי לסקור את השינויים, לחץ על פרסם שינויים כדי להשלים את ההשקה.
    • עבור ניסוי של העברת הודעות בתוך האפליקציה , השתמש בתיבת הדו-שיח כדי לקבוע איזו גרסה יש להפעיל כקמפיין עצמאי להעברת הודעות בתוך האפליקציה. לאחר הבחירה, תופנה למסך הכתיבה של FIAM כדי לבצע שינויים (אם נדרש) לפני הפרסום.

הרחב ניסוי

אם אתה מגלה שניסוי לא מביא מספיק משתמשים כדי ש-A/B Testing יכריז על מנהיג, תוכל להגדיל את התפוצה של הניסוי שלך כדי להגיע לאחוז גדול יותר מבסיס המשתמשים של האפליקציה.

  1. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. בחר את הניסוי הפועל שברצונך לערוך.
  3. בסקירה הכללית של הניסוי , לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על ערוך ניסוי פועל .
  4. תיבת הדו-שיח ' מיקוד ' מציגה אפשרות להגדיל את אחוז המשתמשים שנמצאים בניסוי הפועל כעת. בחר מספר גדול מהאחוז הנוכחי ולחץ על פרסם . הניסוי יידחק החוצה לאחוז המשתמשים שציינת.

שכפל או הפסק ניסוי

  1. בקטע Engage בסרגל הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על הושלם או פועל , העבר את העכבר מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על שכפל ניסוי או עצור ניסוי .

מיקוד למשתמש

אתה יכול למקד את המשתמשים שיש לכלול בניסוי שלך באמצעות הקריטריונים הבאים של מיקוד משתמשים.

קריטריון מיקוד מפעיל(ים) ערכים הערה
גִרְסָה מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי
הזן ערך עבור גרסת אפליקציה אחת או יותר שברצונך לכלול בניסוי.

כאשר אתה משתמש בכל אחד מהאופרטורים מכיל , אינו מכיל או מתאים בדיוק לאופרטורים, אתה יכול לספק רשימה של ערכים מופרדים בפסיקים.

בעת שימוש באופרטור contains regex , ניתן ליצור ביטויים רגולריים בפורמט RE2 . הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש בעוגני ^ ו- $ כדי להתאים את ההתחלה, הסוף או השלמות של מחרוזת יעד.

קהלי משתמשים כולל את כל,
כולל לפחות אחד מ,
לא כולל את כולם,
אינו כולל לפחות אחד מהם
בחר קהל אחד או יותר של Analytics כדי למקד למשתמשים שעשויים להיכלל בניסוי שלך. ניסויים מסוימים הממקדים לקהלים של Google Analytics עשויים לדרוש מספר ימים כדי לצבור נתונים מכיוון שהם כפופים לאחזור עיבוד הנתונים של Analytics . סביר להניח שתתקל בעיכוב הזה עם משתמשים חדשים, שבדרך כלל נרשמים לקהלים מתאימים 24-48 שעות לאחר היצירה, או עבור קהלים שנוצרו לאחרונה .
נכס משתמש לטקסט:
מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי

למספרים:
<, ≤, =, ≥, >
נכס משתמש של Analytics משמש לבחירת משתמשים שעשויים להיכלל בניסוי, עם מגוון אפשרויות לבחירת ערכי נכסי משתמש.

בלקוח, אתה יכול להגדיר רק ערכי מחרוזת עבור מאפייני משתמש. עבור תנאים המשתמשים באופרטורים מספריים, שירות התצורה המרוחקת ממיר את הערך של מאפיין המשתמש המתאים למספר שלם/צף.
בעת שימוש באופרטור contains regex , ניתן ליצור ביטויים רגולריים בפורמט RE2 . הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש בעוגני ^ ו- $ כדי להתאים את ההתחלה, הסוף או השלמות של מחרוזת יעד.
ארץ המכשיר לא מדינה או אזור אחד או יותר משמשים לבחירת משתמשים שעשויים להיכלל בניסוי.
שפת המכשיר לא שפה ומקומון אחד או יותר המשמשים לבחירת משתמשים שעשויים להיכלל בניסוי. קריטריון מיקוד זה זמין רק עבור תצורה מרחוק.
פתיחה ראשונה יותר מ
פחות מ
בֵּין
מקד למשתמשים על סמך הפעם הראשונה שהם פתחו את האפליקציה שלך, שצוין בימים. קריטריון מיקוד זה זמין רק עבור הודעות באפליקציה של Firebase.
מעורבות אחרונה באפליקציה יותר מ
פחות מ
בֵּין
מקד למשתמשים בהתבסס על הפעם האחרונה שהם היו מעורבים באפליקציה שלך, שצוין בימים. קריטריון מיקוד זה זמין רק עבור הודעות באפליקציה של Firebase.

מדדי A/B Testing

כאשר אתה יוצר את הניסוי שלך, אתה בוחר מדד ראשי, או מדד יעד , המשמש לקביעת הגרסה המנצחת. עליך גם לעקוב אחר מדדים אחרים כדי לעזור לך להבין טוב יותר את הביצועים של כל וריאנט ניסוי ולעקוב אחר מגמות חשובות שעשויות להיות שונות עבור כל וריאציה, כמו שימור משתמשים, יציבות אפליקציה והכנסות מרכישות מתוך האפליקציה. אתה יכול לעקוב אחר עד חמישה מדדים שאינם יעדים בניסוי שלך.

לדוגמה, נניח שהוספת רכישות חדשות בתוך האפליקציה לאפליקציה שלך וברצונך להשוות את היעילות של שתי הודעות "דחיפה" שונות. במקרה זה, ייתכן שתחליט לבחור להגדיר הכנסה מרכישה כמדד היעד שלך, כי אתה רוצה שהגרסה המנצחת תייצג את ההתראה שהובילה להכנסה הגבוהה ביותר מרכישות מתוך האפליקציה. ומכיוון שאתה גם רוצה לעקוב אחר איזו וריאציה הביאה ליותר המרות עתידיות ולשמירה על משתמשים, תוכל להוסיף את הדברים הבאים במדדים אחרים למעקב :

  • הכנסה כוללת משוערת כדי לראות כיצד הרכישה המשולבת שלך מתוך האפליקציה וההכנסה ממודעות שונה בין שתי הגרסאות
  • שימור (יום אחד) , שימור (2-3 ימים) , שימור (4-7 ימים) כדי לעקוב אחר שימור המשתמש היומי/שבועי שלך

הטבלאות הבאות מספקות פרטים על אופן החישוב של ערכי יעדים ומדדים אחרים.

מדדי יעדים

מֶטרִי תיאור
משתמשים ללא קריסות אחוז המשתמשים שלא נתקלו בשגיאות באפליקציה שלך שזוהו על ידי Firebase Crashlytics SDK במהלך הניסוי.
הכנסה משוערת ממודעות רווחים משוערים ממודעות.
סך ההכנסות משוערות ערך משולב לרכישה והכנסות משוערות ממודעות.
הכנסות מרכישה ערך משולב לכל אירועי purchase ו- in_app_purchase .
שימור (יום אחד) מספר המשתמשים שחוזרים לאפליקציה שלך על בסיס יומי.
שימור (2-3 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 2-3 ימים.
שימור (4-7 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 4-7 ימים.
שימור (8-14 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 8-14 ימים.
שימור (15+ ימים) מספר המשתמשים שחוזרים לאפליקציה שלך 15 ימים או יותר לאחר שהשתמשו בה לאחרונה.
first_open אירוע Analytics המופעל כאשר משתמש פותח אפליקציה לראשונה לאחר התקנה או התקנה מחדש שלה. משמש כחלק ממשפך המרות.

מדדים אחרים

מֶטרִי תיאור
notification_dismiss אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי מחבר ההודעות נדחית (אנדרואיד בלבד).
notification_receive אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי כותב ההודעות מתקבלת כשהאפליקציה נמצאת ברקע (אנדרואיד בלבד).
os_update אירוע Analytics שעוקב מתי מערכת ההפעלה של המכשיר מתעדכנת לגרסה חדשה. למידע נוסף, ראה אירועים שנאספו אוטומטית .
screen_view אירוע Analytics שעוקב אחר מסכים שנצפו באפליקציה שלך. למידע נוסף, ראה מעקב אחר תצוגות מסך .
session_start אירוע Analytics שסופר הפעלות של משתמשים באפליקציה שלך. למידע נוסף, ראה אירועים שנאספו באופן אוטומטי .