פתרון בעיות ושאלות נפוצות בנושא בדיקות A/B

כמה ניסויים אפשר ליצור ולהפעיל?

מותר להפעיל עד 300 ניסויים לכל פרויקט (כולל השקות), שכוללים עד 24 ניסויים והשקות פעילים, והשאר הם ניסויים שהושלמו.

למה אני לא יכול לראות את הניסויים שלי אחרי שביטלתי את הקישור של הפרויקט שלי ל-Google Analytics וקישרתי אותו מחדש?

אם תקשרו לנכס אחר של Google Analytics, לא תהיה לכם יותר גישה לניסויים שנוצרו לפני כן. כדי לקבל שוב גישה לניסוי קודם, צריך לקשר מחדש את הפרויקט לנכס Google Analytics שאליו הוא היה מקושר כשהניסוי נוצר.

למה מופיעה ההודעה 'הפרויקט לא מקושר ל-Google Analytics' כשיוצרים ניסוי Remote Config?

אם כבר הפעלתם את Google Analytics בפרויקט וקישרתם את האפליקציות, אבל עדיין מוצגת לכם הודעה ש-Google Analytics לא מקושר, צריך לוודא שקיים מקור נתונים מסוג Analytics עבור כל האפליקציות בפרויקט. בשלב הזה, כדי להשתמש ב-A/B Testing, צריך לקשר את כל האפליקציות בפרויקט ל-Analytics.

כך מאמתים את רשימת כל הזרמים הפעילים בשילוב שלכם עם Google Analytics:

1. במסוף Firebase, עוברים אל settings הגדרות > הדף שילובים.
2. בכרטיס Google Analytics, לוחצים על ניהול.

יצירת מקור נתונים מסוג Google Analytics לכל אפליקציה שאין לה מקור כזה אמורה לפתור את הבעיה. יש כמה דרכים ליצור ערוצים לאפליקציות חסרות:

• אם חסר מקור נתונים מסוג Google Analytics רק באפליקציה אחת או בשתי אפליקציות, אפשר להוסיף מקור נתונים מסוג Google Analytics באחת מהשיטות הבאות:
  • במסוף Firebase, מוחקים ומוסיפים מחדש כל אפליקציה ללא זרם פעיל.
  • במסוף Google Analytics, בוחרים באפשרות ניהול, לוחצים על מקורות נתונים, לוחצים על הוספת מקור נתונים, מוסיפים את פרטי האפליקציה החסרים ולוחצים על רישום האפליקציה.
• אם חסרים לכם יותר מכמה מקורות נתוני אפליקציה, הדרך הכי מהירה ויעילה ליצור את מקורות נתוני האפליקציה החסרים היא לבטל את הקישור של נכס Google Analytics ולקשר אותו מחדש:
  1. במסוף Firebase, עוברים אל settings הגדרות > דף השילובים.
  2. בכרטיס Google Analytics, לוחצים על ניהול.
  3. רושמים את Google Analytics מזהה הנכס ואת חשבון Google Analytics המקושר.
  4. לוחצים על more_vert עוד ובוחרים באפשרות ביטול הקישור של Analytics לפרויקט הזה.
  5. קוראים את האזהרה שמופיעה (אין צורך לדאוג, בשלב הבא תקשרו מחדש את אותו הנכס), ואז לוחצים על ביטול הקישור של Google Analytics.
     
     אחרי השלמת ביטול הקישור, תועברו לדף שילובים.
  6. בכרטיס Google Analytics, לוחצים על הפעלה כדי להתחיל את תהליך הקישור מחדש.
  7. בוחרים את חשבון Analytics מהרשימה בחירת חשבון.
  8. לצד האפשרות יצירה אוטומטית של נכס חדש בחשבון הזה, לוחצים על edit עריכה ובוחרים את מזהה הנכס מהרשימה נכס Analytics שמופיעה.
     
     מופיעה רשימה של כל האפליקציות בפרויקט. מוצגים מיפויי מקורות קיימים לכל אפליקציה, ואם לאפליקציה מסוימת אין מקור, המערכת תיצור לה מקור.
  9. לוחצים על Enable Google Analytics (הפעלת Google Analytics) כדי לקשר מחדש את הנכס.
  10. לוחצים על סיום.

אם עדיין מופיעה שגיאה ביצירת בדיקות A/B עם הגדרת תצורה מרחוק אחרי ביצוע השלבים האלה, פנו לתמיכה של Firebase.

מהן התכונות העיקריות של ניסויים ב-Remote Config?

• יצירה מתוך הגדרת תצורה מרחוק: אפשר ליצור ניסויים ישירות מהקטע Remote Config במסוף Firebase. לדוגמה, בדף פרמטרים, לוחצים על יצירת ניסוי כדי לפתוח תהליך יצירה בחלונית צדדית.
• טירגוט עשיר יותר ושימוש חוזר בתנאים: בניסויים נעשה שימוש בכלי המובנה ליצירת תנאים של Remote Config, שמאפשר לכם לעשות שימוש חוזר בתנאים קיימים ולטרגט משתמשים לפי קריטריונים עשירים (כמו קהלים של Analytics, מאפייני משתמש, גרסאות אפליקציה, שפת המכשיר ומדינה או אזור) שמוערכים בסדר עוקב צפוי.
• ארכיטקטורה מאוחדת: הניסויים הם חלק מתבנית Remote Config. המשמעות היא ששינויים בניסויים (טירגוט, וריאנטים, עצירה) נכללים עם שינויים אחרים Remote Config ונכנסים לתוקף כשהתבנית מתפרסמת.
• עדכונים בזמן אמת: אפשר להפיץ את עדכוני הערכים של הניסוי למשתמשים בנייד בזמן אמת באמצעות מנגנון האחזור Remote Config.
• כרטיסיית ההכנה: ניסויים שנמצאים במצב יצירה או עדכון מוצגים בכרטיסיית המשנה 'הכנה' בתוך Remote Config. הם מקומיים לסשן הפעיל במסוף.
• הוצאה משימוש של טיוטות ישנות: הכרטיסייה טיוטות העצמאית מדור קודם ב-A/B Testing הוצאה משימוש. טיוטות קיימות בכרטיסייה הזו הן לקריאה בלבד (אפשר לשכפל או למחוק אותן), ואי אפשר להתחיל או לערוך אותן. הכרטיסייה הזו מתוכננת להסרה סופית ב-31 באוקטובר 2026.
• הסרת מכשירים לבדיקה: הפונקציונליות של ניהול מכשירים לבדיקה לא זמינה יותר. כדי לטרגט מכשירי בדיקה פנימיים ספציפיים, אפשר להוסיף תנאים לניסוי במהלך היצירה שלו, כמו מזהה התקנה (FID) של Firebase.

כמה ניסויים אפשר ליצור ולהפעיל?

מותר להפעיל עד 300 ניסויים לכל פרויקט (כולל השקות), שכוללים עד 24 ניסויים והשקות פעילים, והשאר הם ניסויים שהושלמו.

איך יוצרים ניסוי?

אפשר ליצור ניסויים ישירות מהקטע Remote Config. לדוגמה, כדי ליצור ניסוי מהדף 'פרמטרים', עוברים אל Remote Config > פרמטרים ולוחצים על יצירת ניסוי. ייפתח תהליך יצירה בסרגל צד, בדומה לתהליך שבו יוצרים השקות של Remote Config.

איך אפשר לבדוק או לבחון ניסוי באופן פנימי לפני שחושפים אותו לכל המשתמשים?

ברוב המקרים שבהם רוצים לאמת ולבדוק ניסוי לפני שמשיקים אותו, סביר להניח שמעניין אתכם יותר לבדוק את ערכי הניסוי ואת התנהגות האפליקציה מאשר לבדוק את חלוקת הניסוי עצמו. במקרים כאלה, מומלץ ליצור ניסוי בדיקה שאפשר לטרגט לקבוצת בדיקה מוגבלת. אחרי שיוצרים את ניסוי הבדיקה ומוודאים שווריאציות הניסוי פועלות כמצופה, אפשר לשכפל את הניסוי ולשנות את התנאים כדי לטרגט את המשתמשים החיצוניים, ולהחיל תנאים אחרים על סמך המשתמשים שרוצים לטרגט.

אפשר גם לטרגט מכשירי בדיקה פנימיים ספציפיים כדי לאמת את התנהגות הניסוי לפני שחושפים אותו למשתמשי קצה. כדי לעשות את זה, מוסיפים תנאים לניסוי במהלך יצירת הניסוי, ומגדירים את התנאים כך שיכללו מזהה התקנה (FID) אחד או יותר של Firebase.

איפה אפשר למצוא את הטיוטות הזמניות של הניסויים, ומהי הכרטיסייה 'הכנה להשקה'?

טיוטות זמניות של ניסויים (כולל ניסויים שנמצאים כרגע במצב יצירה או עדכון) זמינות בכרטיסיית משנה בשם הכנה לשחרור בתוך Remote Config. הטיוטות בכרטיסיית המשנה הזו לא נשמרות מעבר לסשן הנוכחי.

איך מפסיקים ניסוי פעיל?

כדי לעצור ניסוי, צריך לפרסם את תבנית Remote Config. כשלוחצים על הפסקת הניסוי, מופיע חלון קופץ לאישור הפרסום. בחלון הקופץ מפורטים כל השינויים שייכנסו לתוקף, כולל עצירת הניסוי. כדי להשלים את פעולת ההפסקה, צריך לפרסם את התבנית.

למה ניסוי בדיקת ה-A/B שהפעלתי נעצר באופן בלתי צפוי?

ניסויים יכולים להיעצר אוטומטית בגלל שינויים בתבנית Remote Config:

• ביטול שינויים בתבנית: ביטול השינויים בתבנית Remote Config לגרסה שבה הניסוי לא קיים יגרום להפסקת הניסוי. חזרה לגרסה שבה ניסוי כבר הופסק לא תפעיל אותו מחדש. אם רוצים ליצור מחדש את הניסוי ולהריץ אותו, אפשר ליצור כפיל של הניסוי שהופסק ולפרסם אותו מחדש.
• ביטול הקישור של פרמטר: אם ניסוי מקושר רק לפרמטר אחד, ביטול הקישור של התנאי שמשויך לפרמטר הזה יגרום להפסקת הניסוי.

האם חזרה לגרסה ישנה יותר של תבנית Remote Config תפעיל מחדש ניסוי שהופסק או נמחק?

לא. ביטול שינויים בתבנית Remote Config לא יפעיל מחדש ניסוי שכבר הופסק, הסתיים או נמחק, גם אם הניסוי היה פעיל בגרסה שבוטלו בה השינויים. אם רוצים ליצור מחדש את הניסוי ולהריץ אותו, אפשר ליצור כפיל של הניסוי ולפרסם אותו מחדש.

מה קורה כשניסוי מסתיים, ואילו פעולות צריך לבצע?

התוקף של ניסויים מסוג A/B Testing יפוג אוטומטית אחרי 90 ימים. כשניסוי מגיע לתאריך התפוגה שלו:

• האיסוף של הנתונים מופסק: הניסוי מפסיק לאסוף נתונים חדשים ולחשב מדדים. התוצאות ההיסטוריות והמדדים שנאספו במהלך חלון 90 הימים עדיין זמינים לבדיקה במסוף Firebase.
• הניסוי לא פעיל יותר: הניסוי מפסיק לפעול, והלוגיקה של התנאים שלו לא מסננת יותר משתמשים באופן פעיל כדי להציג להם וריאציות של הניסוי.
• צריך להסיר את הניסוי שפג התוקף שלו: צריך להסיר את הניסוי שפג התוקף שלו מהפרמטר Remote Config. אם לא מסירים את הניסוי שפג התוקף שלו, לא תוכלו ליצור ניסוי חדש באמצעות אותו פרמטר עד שהניסוי שפג התוקף שלו ינוקה.

פעולות מומלצות:

• בודקים את תוצאות הניסוי במסוף Firebase כדי לבחון את המדדים הסופיים ולקבוע אם יש וריאנט מנצח.
• החלת השינויים וניקוי הניסוי שפג התוקף שלו:
  • אם יש וריאנט מנצח, משיקים את הווריאנט המנצח כדי להחיל את הערך על המשתמשים. חשוב לדעת שהפעלת וריאציה לא מסירה אוטומטית את הניסוי שתוקפו פג.
  • אם לא רוצים להשיק וריאנט, צריך להסיר את הניסוי מהפרמטר כדי לחזור לערך ברירת המחדל של הפרמטר.
  בכל מקרה, צריך להסיר באופן מפורש את הניסוי שפג התוקף שלו מהפרמטר ולפרסם את תבנית Remote Config כדי להשלים את הניקוי.
• משכפלים את הניסוי או יוצרים ניסוי חדש מהפרמטר אם רוצים להמשיך בבדיקה או לאסוף עוד נתונים.

דברים שחשוב לזכור:

• השקות לא מסירות באופן אוטומטי ניסויים שתוקפם פג: השקת וריאציה מנצחת לא מנקה באופן אוטומטי את הניסוי שתוקפו פג. עדיין צריך להסיר באופן מפורש את הניסוי שתוקפו פג מהפרמטר Remote Config ולפרסם את התבנית.
• אי אפשר להפעיל מחדש ניסויים שתוקפם פג: אחרי שתוקף של ניסוי פג, אי אפשר להפעיל אותו מחדש או להפעיל אותו מחדש – גם אם מבטלים את השינויים בתבנית Remote Config וחוזרים לגרסה שבה הניסוי היה פעיל.
• הספירה לאחור של 90 הימים מתחילה בפרסום: שעון התפוגה מתחיל לפעול ברגע שהניסוי מתפרסם בתבנית, גם אם חשיפת המשתמשים מוגדרת בהתחלה ל-0%.

אילו ערכים האפליקציה קוראת כשהניסוי מפסיק או מסתיים?

כשניסוי מסתיים או שתוקפו פג, מופעים של אפליקציות לקוח שנרשמו לניסוי ממשיכים לקרוא את ערכי הווריאנט שהוקצו להם קודם מהמטמון המקומי עד לטעינה הבאה וההפעלה של ההגדרה החדשה (או מיד אחרי פרסום התבנית אם משתמשים בRemote Config בזמן אמת).

אחרי שמבצעים אחזור והפעלה של הגדרת התצורה המעודכנת Remote Config, האפליקציה פותרת את ערכי הפרמטרים לפי סדר העדיפות הבא:

1. התנאי התואם הבא: אם הפרמטר משויך לתנאים אחרים בתבנית Remote Config, האפליקציה משתמשת בערך המותנה מהתנאי התואם הבא ברמה הגבוהה ביותר, בהתאם לסדר הערכת התנאים בתבנית.
2. ערך ברירת מחדל של התבנית: אם אף אחד מהתנאים לא מתקיים לגבי הפרמטר, האפליקציה מקבלת את ערך ברירת המחדל של התבנית שהגדרתם כשיצרתם את הפרמטר בתבנית Remote Config.
3. ערך ברירת מחדל באפליקציה: אם לא צוין ערך ברירת מחדל לתבנית (לדוגמה, אם הפרמטר מוגדר לערך Use in-app default), האפליקציה משתמשת בערך ברירת המחדל באפליקציה שמוגדר בקוד האפליקציה באמצעות Remote Config SDK.
4. ערך ברירת מחדל של ה-SDK: אם לא מוגדר בקוד ערך ברירת מחדל בתוך האפליקציה, ה-SDK‏ Remote Config מחזיר את ערך ברירת המחדל הסטטי שלו לסוג הנתונים של הפרמטר (למשל 0 למספרים, false לערכים בוליאניים, "" למחרוזות או אובייקט ריק ל-JSON).

מידע נוסף על אופן ההערכה של הערכים זמין במאמר בנושא עדיפות של ערכי פרמטרים.

האם יש תמיכה בזמן אמת בניסויים של בדיקות A/B?

כן, עכשיו יש תמיכה בעדכונים בזמן אמת בניסויים מסוג A/B Testing. כדי להשתמש בתכונה הזו, צריך לוודא שהאפליקציה משתמשת בגרסאות ה-SDK העדכניות הנדרשות (Firebase Android SDK גרסה 34.13.0, Firebase iOS SDK גרסה 12.13.0 ו-Firebase JavaScript SDK גרסה 12.15.0).

אם אני עורך את תנאי הטירגוט של ניסוי פעיל כדי להחריג משתמשים מסוימים, למה המשתמשים האלה עדיין נכללים בנתוני המדידה של הניסוי?

‫A/B Testing משתמשת בדליים קבועים למדידה.

אחרי שמקצים משתמש לניסוי ומתחילים למדוד אותו, הוא ימשיך להיכלל במדדים של הניסוי, גם אם עריכות מאוחרות יותר בתנאי הטירגוט בדרך כלל יוציאו אותו מהניסוי. עם זאת, המשתמשים האלה יפסיקו לקבל את ערכי הווריאנט של הניסוי אם הם לא יעמדו יותר בתנאים המעודכנים. פרטים נוספים זמינים בRemote Configלוגיקת ההקצאה של וריאציות.

מוצגת לי הודעת השגיאה צריך לקשר אפליקציה לתנאי הזה או לבחור תנאי אחר כשמגדירים טירגוט לניסוי.

השגיאה הזו מציינת שתנאי הטירגוט שנבחר מחייב טירגוט של אפליקציה ספציפית ב-Firebase, אבל ההגדרה הנוכחית לא כוללת אפליקציה כזו. מוודאים שהתנאי מכיל כלל שמטרגט לפחות אחת מהאפליקציות שלכם ב-Firebase.

למה התנאים שלי לא מטרגטים אף משתמש?

התנאים בתבנית Remote Config נבדקים ברצף מלמעלה למטה באמצעות לוגיקת 'ההתאמה הראשונה'. אם תנאי כללי רחב ממוקם מעל תנאי ניסוי ספציפי יותר, התנאי הרחב יתפוס את המשתמש קודם, והניסוי יתעלם ממנו. כדי לפתור את הבעיה, אפשר לבצע אחת מהפעולות הבאות בכרטיסייה תנאים:

• שינוי הסדר של התנאים: חשוב לוודא שתנאי ניסוי ספציפיים יותר (הכי פחות כוללים) ממוקמים גבוה יותר ברשימת ההערכה, כדי שהמערכת תבדוק אותם לפני תנאים רחבים יותר וכלליים יותר.
• שימוש בפרמטרים ייעודיים: אם יש לכם צרכים מורכבים של טירגוט, כדאי ליצור פרמטר Remote Config ייחודי במיוחד לניסוי שלכם כדי למנוע התנגשויות בין תנאים.

אי אפשר למחוק תנאי מהכרטיסייה תנאים.

אי אפשר למחוק תנאים אם הם מקושרים לניסויים פעילים. קודם צריך להפסיק את הניסוי ולהסיר את התנאי.

אי אפשר להסיר כלל מתנאי אם הכלל מקשר לאפליקציה ספציפית.

אם תנאי מכיל כלל שמטרגט באופן מפורש אפליקציית Firebase, אי אפשר להסיר את כלל הקישור הספציפי הזה של האפליקציה בזמן עריכת התנאי.

מוצגת לי אזהרה לגבי שימוש בכמה תנאי אחוזים במיקוד של הניסוי. האם יש לי סיבה לדאגה?

זוהי אזהרה שלא חוסמת את הפעולה. נראה שהכלי הזה נועד להציג לכם התראה כשבטירגוט של ניסוי משולבים כמה תנאים שמבוססים על אחוזים, כי ההשפעה המצטברת שלהם, בשילוב עם אחוז החשיפה של הניסוי, עלולה לפעמים להוביל לחלוקת משתמשים לא צפויה. אפשר להמשיך, אבל חשוב לשים לב לאופן שבו התנאים האלה פועלים יחד.

איפה אפשר למצוא ולנהל ניסויים בסטטוס טיוטה או מכשירי בדיקה?

בניסויים מסוג Remote Config, אלה הפרטים שקשורים לטיוטות מדור קודם ולמכשירי בדיקה:

• הוצאה משימוש של הכרטיסייה 'טיוטה': אי אפשר יותר לערוך את הכרטיסייה טיוטות הקודמת ואת הניסויים הקיימים בטיוטה. אפשר רק להציג, לשכפל או למחוק ניסויים קיימים במצב טיוטה. הכרטיסייה טיוטות תוסר מהמסוף באופן סופי ב-31 באוקטובר 2026.
• הסרה של מכשירים לבדיקה: הפונקציונליות של ניהול מכשירים לבדיקה לא זמינה יותר. כדי לטרגט מכשירי בדיקה פנימיים ספציפיים, אפשר להוסיף מזהה התקנה (FID) אחד או יותר של Firebase לתנאים של הניסוי במהלך היצירה. כדי לבדוק אפליקציות ניסיוניות לבקרת איכות, צריך להקצות את הניסוי למזהה אפליקציה ספציפי ולהגדיר את רמת החשיפה ל-100%. כדי לבדוק את הניסוי לפני ההשקה, מגדירים את רמת החשיפה ל-0%. חשוב לזכור שתקופת התפוגה של הניסוי (90 יום) מתחילה במועד הפרסום, גם אם רמת החשיפה היא 0%. אחרי שבודקים את הניסוי, אפשר להגדיל את אחוז החשיפה כדי להתחיל בהשקה מלאה.

האם אפשר ליצור פרמטרים כשיוצרים ניסוי?

לא, אי אפשר ליצור פרמטר Remote Config ישירות בסרגל הצד של יצירת הניסוי. צריך ליצור את הפרמטר ב-Remote Config לפני שמגדירים ניסוי שמשתמש בו.