צור ניסויי תצורה מרחוק של Firebase עם בדיקת A/B

כאשר אתה משתמש ב-Firebase Remote Config כדי לפרוס הגדרות עבור יישום עם בסיס משתמשים פעיל, אתה רוצה לוודא שאתה עושה זאת נכון. אתה יכול להשתמש בניסויי A/B Testing כדי לקבוע בצורה הטובה ביותר את הדברים הבאים:

  • הדרך הטובה ביותר ליישם תכונה כדי לייעל את חווית המשתמש. לעתים קרובות מדי, מפתחי אפליקציות לא לומדים שהמשתמשים שלהם לא אוהבים תכונה חדשה או חווית משתמש מעודכנת עד שדירוג האפליקציה שלהם בחנות האפליקציות יורד. בדיקת A/B יכולה לעזור למדוד אם המשתמשים שלך אוהבים גרסאות חדשות של תכונות, או אם הם מעדיפים את האפליקציה כפי שהיא קיימת. בנוסף, השארת רוב המשתמשים שלך בקבוצת בסיס מבטיחה שרוב בסיס המשתמשים שלך יוכל להמשיך להשתמש באפליקציה שלך מבלי לחוות שינויים כלשהם בהתנהגות או במראה שלה עד לסיום הניסוי.
  • הדרך הטובה ביותר לייעל את חוויית המשתמש למטרה עסקית. לפעמים אתה מיישם שינויים במוצר כדי למקסם מדד כמו הכנסה או שימור. עם בדיקת A/B, אתה מגדיר את היעד העסקי שלך, ו-Firebase מבצע את הניתוח הסטטיסטי כדי לקבוע אם גרסה מתעלה על קו הבסיס של היעד שבחרת.

כדי לבחון גרסאות A/B עם קו בסיס, בצע את הפעולות הבאות:

  1. צור את הניסוי שלך.
  2. אמת את הניסוי שלך במכשיר בדיקה.
  3. נהל את הניסוי שלך.

צור ניסוי

ניסוי של תצורה מרחוק מאפשר לך להעריך וריאנטים מרובים בפרמטר אחד או יותר של תצורה מרחוק .

  1. היכנס למסוף Firebase וודא ש-Google Analytics מופעל בפרויקט שלך כך שלניסוי תהיה גישה לנתוני Analytics.

    אם לא הפעלת את Google Analytics בעת יצירת הפרויקט שלך, תוכל להפעיל אותו בכרטיסייה אינטגרציות , אליה תוכל לגשת באמצעות > הגדרות פרויקט במסוף Firebase .

  2. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .

  3. לחץ על צור ניסוי ולאחר מכן בחר תצורה מרחוק כאשר תתבקש להזין את השירות שברצונך להתנסות בו.

  4. הזן שם ותיאור אופציונלי עבור הניסוי שלך ולחץ על הבא .

  5. מלא את שדות המיקוד , תחילה בחר את האפליקציה שמשתמשת בניסוי שלך. תוכל גם למקד לקבוצת משנה של המשתמשים שלך להשתתף בניסוי שלך על ידי לחיצה על ו- ולאחר מכן בחירה באפשרויות מהרשימה הבאה:

    • גרסה: גרסה אחת או יותר של האפליקציה שלך
    • מספר Build: קוד הגרסה של האפליקציה
    • שפות: שפה ואזור אחד או יותר המשמשים לבחירת משתמשים שעשויים להיכלל בניסוי
    • מדינה/אזור: מדינה או אזור אחד או יותר לבחירת משתמשים שיש לכלול בניסוי
    • קהל משתמשים: קהלים ב-Analytics משמשים למיקוד משתמשים שעשויים להיכלל בניסוי
    • נכס משתמש: נכס משתמש אחד או יותר של Analytics לבחירת משתמשים שעשויים להיכלל בניסוי
    • פתיחה ראשונה: מקד למשתמשים על סמך הפעם הראשונה שהם פתחו את האפליקציה שלך

      מיקוד משתמשים לפי זמן הפתיחה הראשון זמין לאחר בחירת אפליקציית Android או iOS. הוא נתמך על ידי גרסאות ה-Remote Config SDK הבאות: פלטפורמות Apple SDK v9.0.0+ ו-Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

      Analytics חייב להיות מופעל גם בלקוח במהלך אירוע הפתיחה הראשון.

  6. הגדר את אחוז משתמשי היעד: הזן את האחוז מבסיס המשתמשים של האפליקציה שלך התואם את הקריטריונים שנקבעו תחת 'מיקוד משתמשי' שברצונך לחלק באופן שווה בין קו הבסיס לגרסה אחת או יותר בניסוי שלך. זה יכול להיות כל אחוז בין 0.01% ל-100%. משתמשים מוקצים באופן אקראי לכל ניסוי, כולל ניסויים משוכפלים.

  7. לחלופין, הגדר אירוע הפעלה כדי להבטיח שרק הנתונים ממשתמשים שהפעילו לראשונה אירוע Analytics כלשהו ייספרו בניסוי שלך. שים לב שכל המשתמשים התואמים את פרמטרי המיקוד שלך יקבלו ערכי ניסוי של תצורה מרוחקת, אבל רק אלה שיפעילו אירוע הפעלה ייכללו בתוצאות הניסוי שלך.

    כדי להבטיח ניסוי חוקי, ודא שהאירוע שבחרת מתרחש לאחר שהאפליקציה שלך מפעילה ערכי תצורה שהובאו. בנוסף, לא ניתן להשתמש באירועים הבאים מכיוון שהם תמיד מתרחשים לפני הפעלת ערכים שנשלפו:

    • app_install
    • app_remove
    • app_update
    • dynamic_link_first_open
  8. עבור יעדי הניסוי , בחר את המדד הראשי למעקב, והוסף כל מדד נוסף שברצונך לעקוב אחריו מהרשימה. אלה כוללים יעדים מובנים (רכישות, הכנסות, שימור, משתמשים ללא קריסות וכו'), אירועי המרה של Analytics ואירועי Analytics אחרים. בסיום, לחץ על הבא .

  9. במקטע וריאנטים , בחר קו בסיס ולפחות וריאנט אחד עבור הניסוי. השתמש ברשימה בחר או צור חדש כדי להוסיף פרמטר אחד או יותר להתנסות איתו. אתה יכול ליצור פרמטר שלא היה בעבר בשימוש במסוף Firebase, אבל הוא חייב להיות קיים באפליקציה שלך כדי שתהיה לו השפעה כלשהי. תוכל לחזור על שלב זה כדי להוסיף פרמטרים מרובים לניסוי שלך.

  10. (אופציונלי) כדי להוסיף יותר מגרסה אחת לניסוי, לחץ על הוסף וריאנט נוסף .

  11. שנה פרמטר אחד או יותר עבור גרסאות ספציפיות. כל הפרמטרים שלא השתנו זהים עבור משתמשים שאינם כלולים בניסוי.

  12. הרחב את משקלי הווריאציות כדי להציג או לשנות משקל וריאנטים עבור הניסוי. כברירת מחדל, כל גרסה משוקללת באופן שווה. שים לב כי משקלים לא אחידים עשויים להגדיל את זמן איסוף הנתונים ולא ניתן לשנות משקלים לאחר תחילת הניסוי .

  13. לחץ על סקור כדי לשמור את הניסוי שלך.

מותר לך עד 300 ניסויים לכל פרויקט, שיכולים להכיל עד 24 ניסויים רצים, והשאר כטיוטה או שהושלמו.

אמת את הניסוי שלך במכשיר בדיקה

עבור כל התקנה של Firebase, תוכל לאחזר את אסימון אישור ההתקנה המשויך אליה. אתה יכול להשתמש באסימון הזה כדי לבדוק גרסאות ניסוי ספציפיות במכשיר בדיקה שהאפליקציה שלך מותקנת בו. כדי לאמת את הניסוי שלך במכשיר בדיקה, בצע את הפעולות הבאות:

  1. קבל את אסימון אישור ההתקנה באופן הבא:

    מָהִיר

    do {
      let result = try await Installations.installations()
        .authTokenForcingRefresh(true)
      print("Installation auth token: \(result.authToken)")
    } catch {
      print("Error fetching token: \(error)")
    }
    

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    val forceRefresh = true
    FirebaseInstallations.getInstance().getToken(forceRefresh)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }

    C++

    firebase::InitResult init_result;
    auto* installations_object = firebase::installations::Installations::GetInstance(
        firebase::App::GetInstance(), &init_result);
    installations_object->GetToken().OnCompletion(
        [](const firebase::Future& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::installations::kErrorNone) {
            printf("Installations Auth Token %s\n", future.result()->c_str());
          }
        });
    

    אַחְדוּת

    Firebase.Installations.FirebaseInstallations.DefaultInstance.GetTokenAsync(forceRefresh: true).ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Installations token {0}", task.Result));
        }
      });
    
  2. בסרגל הניווט של מסוף Firebase , לחץ על בדיקת A/B .
  3. לחץ על טיוטה (ו/או פועל עבור ניסויי תצורה מרחוק), העבר את העכבר מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על נהל התקני בדיקה .
  4. הזן את אסימון אישור ההתקנה עבור מכשיר בדיקה ובחר את גרסת הניסוי לשליחה לאותו מכשיר בדיקה.
  5. הפעל את האפליקציה ואשר שהגרסה שנבחרה מתקבלת במכשיר הבדיקה.

למידע נוסף על התקנות Firebase, ראה ניהול התקנות Firebase .

נהל את הניסוי שלך

בין אם אתה יוצר ניסוי עם Config מרחוק, מחבר ההודעות או Firebase In-App Messaging, לאחר מכן תוכל לאמת ולהתחיל את הניסוי שלך, לעקוב אחר הניסוי שלך בזמן שהוא פועל ולהגדיל את מספר המשתמשים הכלולים בניסוי הפועל שלך.

כאשר הניסוי שלך יסתיים, תוכל לשים לב להגדרות המשמשות את הגרסה הזוכה, ולאחר מכן להפיץ את ההגדרות הללו לכל המשתמשים. לחלופין, אתה יכול להריץ ניסוי אחר.

התחל ניסוי

  1. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על טיוטה ולאחר מכן לחץ על כותרת הניסוי שלך.
  3. כדי לוודא שלאפליקציה שלך יש משתמשים שייכללו בניסוי שלך, הרחב את פרטי הטיוטה ובדוק אם יש מספר גדול מ -0% בקטע מיקוד והפצה (לדוגמה, 1% מהמשתמשים התואמים את הקריטריונים ).
  4. כדי לשנות את הניסוי, לחץ על ערוך .
  5. כדי להתחיל את הניסוי, לחץ על התחל ניסוי . אתה יכול להריץ עד 24 ניסויים בכל פרויקט בכל פעם.

מעקב אחר ניסוי

לאחר שניסוי פועל במשך זמן מה, אתה יכול לבדוק את ההתקדמות שלו ולראות איך נראות התוצאות שלך עבור המשתמשים שהשתתפו בניסוי שלך עד כה.

  1. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על פועל ולאחר מכן לחץ על, או חפש, את כותרת הניסוי שלך. בדף זה, תוכל להציג נתונים סטטיסטיים שונים שנצפו ובמודלים לגבי הניסוי המתנהל שלך, כולל הפריטים הבאים:

    • % הבדל מקו הבסיס : מדד לשיפור של מדד עבור וריאנט נתון בהשוואה לקו הבסיס. מחושב על ידי השוואת טווח הערכים של הגרסה לטווח הערכים של קו הבסיס.
    • הסתברות לנצח את קו הבסיס : ההסתברות המשוערת לכך שגרסה נתונה מנצחת את קו הבסיס עבור המדד שנבחר.
    • observed_metric למשתמש : בהתבסס על תוצאות הניסוי, זהו הטווח החזוי שאליו הערך המדד ייכנס לאורך זמן.
    • Total observed_metric : הערך המצטבר שנצפה עבור קו הבסיס או הגרסה. הערך משמש למדידת הביצועים של כל וריאנט ניסוי ומשמש לחישוב שיפור , טווח ערכים , הסתברות לנצח את קו הבסיס והסתברות להיות הגרסה הטובה ביותר . בהתאם למדד הנמדד, עמודה זו עשויה להיות מתויגת "משך זמן למשתמש", "הכנסה למשתמש", "שיעור שימור" או "שיעור המרות".
  3. לאחר שהניסוי שלך רץ במשך זמן מה (לפחות 7 ימים עבור FCM והודעות בתוך האפליקציה או 14 ימים עבור Remote Config), הנתונים בדף זה מציינים איזו גרסה, אם בכלל, היא ה"מובילה". חלק מהמדידות מלוות בתרשים עמודות המציג את הנתונים בפורמט ויזואלי.

הפעל ניסוי לכל המשתמשים

לאחר שניסוי נמשך מספיק זמן כדי שיהיה לך "מוביל", או גרסה מנצחת, עבור מדד היעד שלך, תוכל לשחרר את הניסוי ל-100% מהמשתמשים. זה מאפשר לך לבחור גרסה לפרסום לכל המשתמשים בהמשך. גם אם הניסוי שלך לא יצר מנצח ברור, אתה עדיין יכול לבחור לשחרר גרסה לכל המשתמשים שלך.

  1. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על הושלם או פועל , לחץ על ניסוי שברצונך לשחרר לכל המשתמשים, לחץ על תפריט ההקשר ( ) גרסה הפעלה .
  3. הפעל את הניסוי שלך לכל המשתמשים על ידי ביצוע אחת מהפעולות הבאות:

    • עבור ניסוי המשתמש ב-Notifications composer , השתמש בתיבת הדו-שיח 'הפצת הודעה' כדי לשלוח את ההודעה לשאר המשתמשים הממוקדים שלא היו חלק מהניסוי.
    • עבור ניסוי של Remote Config , בחר גרסה כדי לקבוע אילו ערכי פרמטר של Remote Config לעדכן. קריטריוני המיקוד שהוגדרו בעת יצירת הניסוי מתווספים כתנאי חדש בתבנית שלך, כדי להבטיח שההשקה משפיעה רק על משתמשים שאליהם הניסוי ממקד. לאחר לחיצה על סקירה ב-Remote Config כדי לסקור את השינויים, לחץ על פרסם שינויים כדי להשלים את ההשקה.
    • עבור ניסוי של העברת הודעות בתוך האפליקציה , השתמש בתיבת הדו-שיח כדי לקבוע איזו גרסה יש להפעיל כקמפיין עצמאי להעברת הודעות בתוך האפליקציה. לאחר הבחירה, אתה מופנה למסך הכתיבה של FIAM כדי לבצע שינויים (אם נדרש) לפני הפרסום.

הרחב ניסוי

אם אתה מגלה שניסוי לא מביא מספיק משתמשים כדי ש-A/B Testing יכריז על מנהיג, תוכל להגדיל את התפוצה של הניסוי שלך כדי להגיע לאחוז גדול יותר מבסיס המשתמשים של האפליקציה.

  1. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. בחר את הניסוי הפועל שברצונך לערוך.
  3. בסקירה הכללית של הניסוי , לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על ערוך ניסוי פועל .
  4. תיבת הדו-שיח 'מיקוד ' מציגה אפשרות להגדיל את אחוז המשתמשים שנמצאים בניסוי הפועל. בחר מספר גדול מהאחוז הנוכחי ולחץ על פרסם . הניסוי יידחק החוצה לאחוז המשתמשים שציינת.

שכפל או הפסק ניסוי

  1. בקטע Engage של תפריט הניווט של מסוף Firebase , לחץ על A/B Testing .
  2. לחץ על הושלם או פועל , החזק את המצביע מעל הניסוי שלך, לחץ על תפריט ההקשר ( ), ולאחר מכן לחץ על שכפל ניסוי או עצור ניסוי .

מיקוד למשתמש

אתה יכול למקד את המשתמשים שיש לכלול בניסוי שלך באמצעות הקריטריונים הבאים של מיקוד משתמשים.

קריטריון מיקוד מפעיל(ים) ערכים הערה
גִרְסָה מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי
הזן ערך עבור גרסת אפליקציה אחת או יותר שברצונך לכלול בניסוי.

כאשר אתה משתמש בכל אחד מהאופרטורים מכיל , אינו מכיל או מתאים בדיוק לאופרטורים, אתה יכול לספק רשימה של ערכים מופרדים בפסיקים.

בעת שימוש באופרטור contains regex , ניתן ליצור ביטויים רגולריים בפורמט RE2 . הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש בעוגני ^ ו- $ כדי להתאים את ההתחלה, הסוף או השלמות של מחרוזת יעד.

קהלי משתמשים כולל את כל,
כולל לפחות אחד מ,
לא כולל את כולם,
אינו כולל לפחות אחד מהם
בחר קהל אחד או יותר של Analytics כדי למקד למשתמשים שעשויים להיכלל בניסוי שלך. ניסויים מסוימים הממקדים לקהלים של Google Analytics עשויים לדרוש מספר ימים כדי לצבור נתונים מכיוון שהם כפופים לאחזור עיבוד הנתונים של Analytics . סביר להניח שתתקל בעיכוב הזה עם משתמשים חדשים, שבדרך כלל נרשמים לקהלים מתאימים 24-48 שעות לאחר היצירה, או עבור קהלים שנוצרו לאחרונה .

עבור Remote Config, המשמעות היא שגם אם משתמש מתאים מבחינה טכנית לקהל, אם Analytics עדיין לא הוסיף את המשתמש לקהל כאשר `fetchAndActivate()` מופעל, המשתמש לא ייכלל בניסוי.

נכס משתמש לטקסט:
מכיל,
לא מכיל,
מתאים בדיוק,
מכיל ביטוי רגולרי

למספרים:
<, ≤, =, ≥, >
נכס משתמש של Analytics משמש לבחירת משתמשים שעשויים להיכלל בניסוי, עם מגוון אפשרויות לבחירת ערכי נכסי משתמש.

בלקוח, אתה יכול להגדיר רק ערכי מחרוזת עבור מאפייני משתמש. עבור תנאים המשתמשים באופרטורים מספריים, שירות התצורה המרוחקת ממיר את הערך של מאפיין המשתמש המתאים למספר שלם/צף.
בעת שימוש באופרטור contains regex , ניתן ליצור ביטויים רגולריים בפורמט RE2 . הביטוי הרגולרי שלך יכול להתאים את מחרוזת גרסת היעד כולה או חלק ממנה. אתה יכול גם להשתמש בעוגני ^ ו- $ כדי להתאים את ההתחלה, הסוף או השלמות של מחרוזת יעד.
מדינה/אזור לא מדינה או אזור אחד או יותר משמשים לבחירת משתמשים שעשויים להיכלל בניסוי.
שפות לא שפה ומקומון אחד או יותר המשמשים לבחירת משתמשים שעשויים להיכלל בניסוי.
פתיחה ראשונה לפני
לאחר

מקד למשתמשים על סמך הפעם הראשונה שהם פותחים את האפליקציה שלך:

  • בחר משתמשים חדשים כדי למקד למשתמשים שפותחים לראשונה את האפליקציה שלך לאחר תאריך ושעה עתידיים שצוינו.
  • בחר טווח זמן כדי למקד למשתמשים שפותחים לראשונה את האפליקציה שלך בטווח שלפני או אחרי התאריך והשעה שציינת. שלב תנאי לפני ואחרי כדי למקד למשתמשים בטווח זמן מסוים.

מיקוד משתמשים לפי פתיחה ראשונה זמין לאחר בחירת אפליקציית Android או iOS. כרגע הוא נתמך על ידי גרסאות ה-Remote Config SDK הבאות: פלטפורמות Apple SDK v9.0.0+ ו-Android SDK v21.1.1+ (Firebase BoM v30.3.0+).

Analytics חייב להיות מופעל גם בלקוח במהלך אירוע הפתיחה הראשון.

מדדי A/B Testing

כאשר אתה יוצר את הניסוי שלך, אתה בוחר מדד ראשי, או מדד יעד , המשמש לקביעת הגרסה המנצחת. עליך גם לעקוב אחר מדדים אחרים כדי לעזור לך להבין טוב יותר את הביצועים של כל וריאנט ניסוי ולעקוב אחר מגמות חשובות שעשויות להיות שונות עבור כל וריאציה, כמו שימור משתמשים, יציבות אפליקציה והכנסות מרכישות מתוך האפליקציה. אתה יכול לעקוב אחר עד חמישה מדדים שאינם יעדים בניסוי שלך.

לדוגמה, נניח שאתה משתמש ב-Remote Config כדי להשיק שני זרימות משחק שונות באפליקציה שלך וברצונך לבצע אופטימיזציה עבור רכישות בתוך האפליקציה והכנסות ממודעות, אבל אתה גם רוצה לעקוב אחר היציבות ושימור המשתמש של כל גרסה. במקרה זה, ייתכן שתשקול לבחור בהכנסה הכוללת משוערת כמדד היעד שלך מכיוון שהוא כולל הכנסות מרכישות מתוך האפליקציה והכנסות ממודעות, ולאחר מכן, כדי לעקוב אחר מדדים אחרים , תוכל להוסיף את הדברים הבאים:

  • כדי לעקוב אחר שימור המשתמש היומי והשבועי שלך, הוסף שימור (2-3 ימים) ושימור (4-7 ימים) .
  • כדי להשוות יציבות בין שני זרימות המשחק, הוסף משתמשים ללא קריסה .
  • כדי לראות תצוגות מפורטות יותר של כל סוג הכנסה, הוסף הכנסה מרכישה והכנסה משוערת ממודעות .

הטבלאות הבאות מספקות פרטים על אופן החישוב של ערכי יעדים ומדדים אחרים.

מדדי יעדים

מֶטרִי תיאור
משתמשים ללא קריסות אחוז המשתמשים שלא נתקלו בשגיאות באפליקציה שלך שזוהו על ידי Firebase Crashlytics SDK במהלך הניסוי.
הכנסה משוערת ממודעות רווחים משוערים ממודעות.
סך ההכנסות משוערות ערך משולב לרכישה והכנסות משוערות ממודעות.
הכנסות מרכישה ערך משולב לכל אירועי purchase ו- in_app_purchase .
שימור (יום אחד) מספר המשתמשים שחוזרים לאפליקציה שלך על בסיס יומי.
שימור (2-3 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 2-3 ימים.
שימור (4-7 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 4-7 ימים.
שימור (8-14 ימים) מספר המשתמשים שחוזרים לאפליקציה שלך תוך 8-14 ימים.
שימור (15+ ימים) מספר המשתמשים שחוזרים לאפליקציה שלך 15 ימים או יותר לאחר שהשתמשו בה לאחרונה.
first_open אירוע Analytics המופעל כאשר משתמש פותח אפליקציה לראשונה לאחר התקנה או התקנה מחדש שלה. משמש כחלק ממשפך המרות.

מדדים אחרים

מֶטרִי תיאור
notification_dismiss אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי מחבר ההודעות נדחית (אנדרואיד בלבד).
notification_receive אירוע Analytics המופעל כאשר הודעה שנשלחה על ידי כותב ההודעות מתקבלת כשהאפליקציה ברקע (אנדרואיד בלבד).
os_update אירוע Analytics שעוקב מתי מערכת ההפעלה של המכשיר מתעדכנת לגרסה חדשה. למידע נוסף, ראה אירועים שנאספו אוטומטית .
screen_view אירוע Analytics שעוקב אחר מסכים שנצפו באפליקציה שלך. למידע נוסף, ראה מעקב אחר תצוגות מסך .
session_start אירוע Analytics שסופר הפעלות של משתמשים באפליקציה שלך. למידע נוסף, ראה אירועים שנאספו באופן אוטומטי .

ייצוא נתונים של BigQuery

בנוסף להצגת נתוני ניסוי A/B במסוף Firebase, תוכל לבדוק ולנתח נתוני ניסוי ב-BigQuery. בעוד לבדיקת A/B אין טבלת BigQuery נפרדת, חברות לניסויים ולווריאציות מאוחסנות בכל אירוע של Google Analytics בתוך טבלאות האירועים של Analytics.

מאפייני המשתמש המכילים מידע על הניסוי הם בצורת userProperty.key like "firebase_exp_%" או userProperty.key = "firebase_exp_01" כאשר 01 הוא מזהה הניסוי, ו- userProperty.value.string_value מכיל את האינדקס (מבוסס אפס) של וריאנט ניסוי.

אתה יכול להשתמש במאפייני משתמש הניסוי האלה כדי לחלץ נתוני ניסוי. זה נותן לך את הכוח לחתוך את תוצאות הניסוי שלך בדרכים רבות ושונות ולאמת באופן עצמאי את התוצאות של בדיקות A/B.

כדי להתחיל, השלם את הפעולות הבאות כמתואר במדריך זה:

  1. אפשר ייצוא BigQuery עבור Google Analytics במסוף Firebase
  2. גישה לנתוני A/B Testing באמצעות BigQuery
  3. חקור שאילתות לדוגמה

אפשר ייצוא BigQuery עבור Google Analytics במסוף Firebase

אם אתה בתוכנית Spark, אתה יכול להשתמש בארגז החול של BigQuery כדי לגשת ל-BigQuery ללא עלות, בכפוף למגבלות Sandbox . למידע נוסף, עיין בתמחור ובארגז החול של BigQuery .

ראשית, ודא שאתה מייצא את נתוני Analytics שלך ל-BigQuery:

  1. פתח את הכרטיסייה אינטגרציות , אליה תוכל לגשת באמצעות > הגדרות פרויקט במסוף Firebase .
  2. אם אתה כבר משתמש ב-BigQuery עם שירותי Firebase אחרים, לחץ על נהל . אחרת, לחץ על קישור .
  3. סקור אודות קישור Firebase ל-BigQuery ולאחר מכן לחץ על הבא .
  4. בקטע הגדר אינטגרציה , הפעל את החלפת מצב של Google Analytics .
  5. בחר אזור ובחר הגדרות ייצוא.

  6. לחץ על קישור ל-BigQuery .

בהתאם לאופן שבו בחרת לייצא נתונים, עשוי לחלוף עד יום עד שהטבלאות יהיו זמינות. למידע נוסף על ייצוא נתוני פרויקט ל-BigQuery, ראה ייצוא נתוני פרויקט ל-BigQuery .

גישה לנתוני A/B Testing ב-BigQuery

לפני שתבצע שאילתה לנתונים עבור ניסוי ספציפי, תרצה להשיג חלק מהדברים הבאים או את כולם לשימוש בשאילתה שלך:

  • מזהה ניסוי: אתה יכול להשיג זאת מכתובת האתר של דף סקירת הניסוי . לדוגמה, אם כתובת האתר שלך נראית כמו https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 , מזהה הניסוי הוא 25 .
  • מזהה נכס Google Analytics : זהו מזהה הנכס בן 9 הספרות שלך ב-Google Analytics. אתה יכול למצוא את זה בתוך Google Analytics; הוא מופיע גם ב-BigQuery כאשר אתה מרחיב את שם הפרויקט שלך כדי להציג את השם של טבלת האירועים שלך ב-Google Analytics ( project_name.analytics_000000000.events ).
  • תאריך הניסוי: כדי ליצור שאילתה מהירה ויעילה יותר, מומלץ להגביל את השאילתות למחיצות טבלת האירועים היומית של Google Analytics המכילות את נתוני הניסוי שלך - טבלאות המזוהות עם סיומת YYYYMMDD . לכן, אם הניסוי שלך רץ מ-2 בפברואר 2024 עד 2 במאי 2024, תציין _TABLE_SUFFIX between '20240202' AND '20240502' . לדוגמא, ראה בחירת ערכי ניסוי ספציפי .
  • שמות אירועים: בדרך כלל, אלה תואמים את ערכי היעדים שלך שהגדרת בניסוי. לדוגמה, אירועים in_app_purchase , ad_impression , או אירועי user_retention .

לאחר שתאסוף את המידע שאתה צריך כדי ליצור את השאילתה שלך:

  1. פתח את BigQuery במסוף Google Cloud.
  2. בחר את הפרויקט שלך ולאחר מכן בחר צור שאילתת SQL .
  3. הוסף את השאילתה שלך. לדוגמה שאילתות להרצה, ראה חקור שאילתות לדוגמה .
  4. לחץ על הפעל .

שאילתה נתוני ניסוי באמצעות השאילתה שנוצרה אוטומטית של מסוף Firebase

אם אתה משתמש בתוכנית Blaze, דף סקירת הניסוי מספק שאילתה לדוגמה שמחזירה את שם הניסוי, גרסאות, שמות אירועים ומספר האירועים עבור הניסוי שאתה צופה בו.

כדי להשיג ולהפעיל את השאילתה שנוצרה אוטומטית:

  1. ממסוף Firebase, פתח את בדיקת A/B ובחר בניסוי בדיקת A/B שברצונך לבצע שאילתה כדי לפתוח את סקירת הניסוי .
  2. מתפריט האפשרויות, מתחת לשילוב BigQuery , בחר נתוני ניסוי שאילתה . זה פותח את הפרויקט שלך ב-BigQuery בתוך מסוף מסוף Google Cloud ומספק שאילתה בסיסית שבה תוכל להשתמש כדי לבצע שאילתה על נתוני הניסוי שלך.

הדוגמה הבאה מציגה שאילתה שנוצרה עבור ניסוי עם שלוש גרסאות (כולל קו הבסיס) בשם "ניסוי קבלת פנים בחורף". הוא מחזיר את שם הניסוי הפעיל, שם הגרסה, האירוע הייחודי וספירת האירועים עבור כל אירוע. שים לב שבונה השאילתות אינו מציין את שם הפרויקט שלך בשם הטבלה, מכיוון שהוא נפתח ישירות בתוך הפרויקט שלך.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

לדוגמאות שאילתות נוספות, המשך אל חקור שאילתות לדוגמה .

חקור שאילתות לדוגמה

הסעיפים הבאים מספקים דוגמאות לשאילתות שבהן תוכל להשתמש כדי לחלץ נתוני ניסוי A/B מטבלאות אירועים של Google Analytics.

חלץ ערכי סטיית תקן של רכישה וניסוי מכל הניסויים

אתה יכול להשתמש בנתוני תוצאות הניסוי כדי לאמת באופן עצמאי את תוצאות בדיקות A/B של Firebase. הצהרת BigQuery SQL הבאה מחלצת גרסאות ניסוי, מספר המשתמשים הייחודיים בכל וריאציה, ומסכמת את סך ההכנסות מאירועי in_app_purchase ו- ecommerce_purchase , וסטיות תקן עבור כל הניסויים בטווח הזמן שצוין בתור _TABLE_SUFFIX תאריכי התחלה וסיום. אתה יכול להשתמש בנתונים שאתה מקבל מהשאילתה הזו עם מחולל מובהקות סטטיסטית עבור מבחני t חד-זנביים כדי לוודא שהתוצאות ש-Firebase מספקת תואמות את הניתוח שלך.

למידע נוסף על האופן שבו בדיקת A/B מחשבת מסקנות, ראה לפרש את תוצאות הבדיקה .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

בחר ערכי ניסוי ספציפי

השאילתה לדוגמה הבאה ממחישה כיצד להשיג נתונים עבור ניסוי ספציפי ב-BigQuery. שאילתה לדוגמה זו מחזירה את שם הניסוי, שמות וריאנטים (כולל Baseline), שמות אירועים וספירת אירועים.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName