وقتی با کاربران خود ارتباط برقرار میکنید یا یک کمپین بازاریابی جدید را شروع میکنید، میخواهید مطمئن شوید که آن را به درستی انجام میدهید. تست A/B میتواند با آزمایش انواع پیام در بخشهای منتخب پایگاه کاربری شما، به شما در یافتن متن و ارائه بهینه کمک کند. چه هدف شما حفظ مشتری یا تبدیل بهتر در یک پیشنهاد باشد، تست A/B میتواند تجزیه و تحلیل آماری انجام دهد تا مشخص شود که آیا یک نوع پیام از خط پایه برای هدف انتخابی شما بهتر عمل میکند یا خیر.
برای تست A/B انواع ویژگیها با یک خط پایه، موارد زیر را انجام دهید:
- آزمایش خود را ایجاد کنید.
- آزمایش خود را روی یک دستگاه آزمایشی اعتبارسنجی کنید.
- آزمایش خود را مدیریت کنید.
یک آزمایش ایجاد کنید
آزمایشی که از Firebase In-App Messaging استفاده میکند، به شما امکان میدهد چندین نوع از یک پیام درونبرنامهای را ارزیابی کنید.
وارد کنسول Firebase شوید و تأیید کنید که Google Analytics در پروژه شما فعال است تا آزمایش به دادههای Analytics دسترسی داشته باشد.
اگر هنگام ایجاد پروژه خود، Google Analytics فعال نکردهاید، میتوانید آن را در تب Integrations فعال کنید که میتوانید با استفاده از > Project settings در کنسول Firebase به آن دسترسی پیدا کنید.
در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
روی ایجاد آزمایش کلیک کنید و سپس وقتی از شما خواسته شد سرویسی را که میخواهید با آن آزمایش کنید ، پیامرسانی درونبرنامهای را انتخاب کنید.
روش دیگر این است که در منوی ناوبری کنسول Firebase ، گزینه Engage را باز کنید، سپس روی In-App Messaging کلیک کنید. در نهایت روی New experiment کلیک کنید.
یک نام و توضیحات اختیاری برای آزمایش خود وارد کنید و روی «بعدی» کلیک کنید.
فیلدهای هدفگیری را پر کنید، ابتدا برنامهای را که از آزمایش شما استفاده میکند انتخاب کنید. همچنین میتوانید با انتخاب گزینههایی که شامل موارد زیر هستند، زیرمجموعهای از کاربران خود را برای شرکت در آزمایش خود هدف قرار دهید:
- نسخه: یک یا چند نسخه از برنامه شما
- مخاطبان کاربر: مخاطبان Analytics که برای هدف قرار دادن کاربرانی که ممکن است در آزمایش گنجانده شوند، استفاده میشوند
- ویژگی کاربر: یک یا چند ویژگی کاربر Analytics برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
- کشور/منطقه: یک یا چند کشور یا منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
- زبان دستگاه: یک یا چند زبان و منطقهی جغرافیایی که برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند، استفاده میشود.
- اولین باز شدن: کاربران را بر اساس اولین باری که برنامه شما را باز کردهاند، هدف قرار دهید.
- آخرین تعامل با اپلیکیشن: کاربران را بر اساس آخرین باری که با اپلیکیشن شما تعامل داشتهاند، هدف قرار دهید.
درصد کاربران هدف را تنظیم کنید: درصد پایگاه کاربری برنامه خود را که با معیارهای تعیین شده در بخش «کاربران هدف» مطابقت دارد و میخواهید به طور مساوی بین خط پایه و یک یا چند نوع در آزمایش خود تقسیم کنید، انتخاب کنید. این میتواند هر درصدی بین 0.01٪ تا 100٪ باشد. درصدها به طور تصادفی برای هر آزمایش، از جمله آزمایشهای تکراری، به کاربران اختصاص داده میشوند.
در بخش « گزینهها» ، یک پیام درونبرنامهای پایه را برای ارسال به گروه پایه با استفاده از رابط طراحی پیامی که برای یک کمپین پیامرسانی درونبرنامهای معمولی استفاده میکنید، پیکربندی کنید.
برای افزودن یک متغیر به آزمایش خود، روی «افزودن متغیر» کلیک کنید. بهطور پیشفرض، آزمایشها یک خط پایه و یک متغیر دارند.
(اختیاری) برای هر نوع، یک نام توصیفیتر وارد کنید.
(اختیاری) در بالای بخش انواع پیام ، روی دکمه مقایسه انواع پیام کلیک کنید تا یک نوع پیام دیگر را در کنار پیام پایه مقایسه کنید.
یک معیار هدف برای آزمایش خود تعریف کنید تا هنگام ارزیابی انواع آزمایش به همراه هر معیار اضافی که میخواهید از لیست استفاده کنید، از آن استفاده کنید. این معیارها شامل اهداف از پیش تعیینشده (تعامل، خرید، درآمد، حفظ و غیره)، رویدادهای تبدیل Analytics و سایر رویدادهای Analytics هستند.
تنظیم زمانبندی برای آزمایش:
- تاریخ شروع و پایان آزمایش را تعیین کنید.
- نحوهی نمایش پیامهای درونبرنامهای را در تمام انواع مختلف تنظیم کنید.
برای ذخیره آزمایش خود، روی «بررسی» کلیک کنید.
شما مجاز به انجام حداکثر ۳۰۰ آزمایش در هر پروژه هستید که میتواند شامل ۲۴ آزمایش در حال اجرا و بقیه به صورت پیشنویس یا تکمیلشده باشد.
آزمایش خود را روی یک دستگاه آزمایشی اعتبارسنجی کنید
برای هر نصب Firebase، میتوانید توکن احراز هویت نصب مرتبط با آن را بازیابی کنید. میتوانید از این توکن برای آزمایش انواع آزمایشهای خاص روی یک دستگاه آزمایشی با برنامه نصب شده خود استفاده کنید. برای اعتبارسنجی آزمایش خود روی یک دستگاه آزمایشی، موارد زیر را انجام دهید:
- توکن احراز هویت نصب را به صورت زیر دریافت کنید:
سویفت
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
هدف-سی
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- در نوار ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
- روی Draft (و/یا Running برای آزمایشهای Remote Config) کلیک کنید، نشانگر ماوس را روی آزمایش خود نگه دارید، روی منوی زمینه ( more_vert ) کلیک کنید و سپس روی Manage test devices کلیک کنید.
- توکن احراز هویت نصب را برای یک دستگاه آزمایشی وارد کنید و نوع آزمایشی را برای ارسال به آن دستگاه آزمایشی انتخاب کنید.
- برنامه را اجرا کنید و تأیید کنید که نوع انتخاب شده در دستگاه آزمایشی دریافت میشود.
برای کسب اطلاعات بیشتر در مورد نصبهای Firebase ، به مدیریت نصبهای Firebase مراجعه کنید.
آزمایش خود را مدیریت کنید
چه با Remote Config ، کامپوزر Notifications یا Firebase In-App Messaging یک آزمایش ایجاد کنید، میتوانید آزمایش خود را اعتبارسنجی و شروع کنید، آزمایش خود را در حین اجرا نظارت کنید و تعداد کاربرانی را که در آزمایش در حال اجرا شرکت میکنند، افزایش دهید.
وقتی آزمایش شما انجام شد، میتوانید تنظیمات مورد استفاده توسط نسخه برنده را یادداشت کنید و سپس آن تنظیمات را برای همه کاربران اعمال کنید. یا میتوانید آزمایش دیگری انجام دهید.
شروع یک آزمایش
- در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
- روی پیشنویس کلیک کنید و سپس روی عنوان آزمایش خود کلیک کنید.
- برای تأیید اینکه برنامه شما کاربرانی دارد که میتوانند در آزمایش شما گنجانده شوند، جزئیات پیشنویس را گسترش دهید و در بخش هدفگیری و توزیع، عددی بزرگتر از ۰٪ را بررسی کنید (برای مثال، ۱٪ از کاربران مطابق با معیارها ).
- برای تغییر آزمایش خود، روی «ویرایش» کلیک کنید.
- برای شروع آزمایش خود، روی «شروع آزمایش» کلیک کنید. میتوانید تا ۲۴ آزمایش را در هر پروژه به طور همزمان اجرا کنید.
نظارت بر یک آزمایش
وقتی مدتی از اجرای یک آزمایش گذشت، میتوانید پیشرفت آن را بررسی کنید و ببینید نتایج شما برای کاربرانی که تاکنون در آزمایش شما شرکت کردهاند، چگونه به نظر میرسد.
- در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
روی Running کلیک کنید و سپس روی عنوان آزمایش خود کلیک کنید یا آن را جستجو کنید. در این صفحه، میتوانید آمارهای مختلف مشاهده شده و مدلسازی شده در مورد آزمایش در حال اجرا خود، از جمله موارد زیر را مشاهده کنید:
- درصد اختلاف از حالت پایه : معیاری برای بهبود یک معیار برای یک متغیر معین در مقایسه با حالت پایه. با مقایسه محدوده مقادیر متغیر با محدوده مقادیر حالت پایه محاسبه میشود.
- احتمال غلبه بر خط پایه : احتمال تخمینی که یک متغیر معین، خط پایه را برای معیار انتخاب شده شکست میدهد.
- observed_metric به ازای هر کاربر : بر اساس نتایج آزمایش، این محدوده پیشبینیشدهای است که مقدار متریک در طول زمان در آن قرار خواهد گرفت.
- مجموع observed_metric : مقدار تجمعی مشاهدهشده برای خط پایه یا متغیر. این مقدار برای اندازهگیری میزان عملکرد هر متغیر آزمایشی و محاسبهی بهبود (Improvment )، محدودهی ارزش (Value range )، احتمال بهتر بودن از خط پایه (Probability to Beyond the baseline ) و احتمال بهترین بودن متغیر استفاده میشود. بسته به معیار اندازهگیریشده، این ستون ممکن است با برچسبهای «مدت زمان به ازای هر کاربر»، «درآمد به ازای هر کاربر»، «نرخ ماندگاری» یا «نرخ تبدیل» نامگذاری شود.
پس از اینکه آزمایش شما مدتی اجرا شد (حداقل ۷ روز برای FCM و In-App Messaging یا ۱۴ روز برای Remote Config )، دادههای این صفحه نشان میدهد که کدام نوع، در صورت وجود، «پیشرو» است. برخی از اندازهگیریها با نمودار میلهای همراه هستند که دادهها را در قالب بصری ارائه میدهد.
یک آزمایش را برای همه کاربران منتشر کنید
بعد از اینکه یک آزمایش به اندازه کافی اجرا شد که شما یک "پیشرو" یا یک نوع برنده برای معیار هدف خود داشتید، میتوانید آزمایش را برای ۱۰۰٪ کاربران منتشر کنید. این به شما امکان میدهد تا یک نوع را برای انتشار برای همه کاربران در آینده انتخاب کنید. حتی اگر آزمایش شما یک برنده مشخص ایجاد نکرده باشد، هنوز میتوانید یک نوع را برای همه کاربران خود منتشر کنید.
- در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
- روی «تکمیلشده» یا «در حال اجرا» کلیک کنید، روی آزمایشی که میخواهید برای همه کاربران منتشر شود کلیک کنید، روی منوی زمینه ( ) کلیک کنید و گزینه «نوع را منتشر کنید» را انتخاب کنید .
با انجام یکی از موارد زیر، آزمایش خود را برای همه کاربران منتشر کنید:
- برای آزمایشی که از آهنگساز Notifications استفاده میکند، از کادر گفتگوی Rollout message برای ارسال پیام به کاربران هدف باقیمانده که بخشی از آزمایش نبودند، استفاده کنید.
- برای یک آزمایش Remote Config ، یک نوع را انتخاب کنید تا مشخص شود کدام مقادیر پارامتر Remote Config باید بهروزرسانی شوند. معیارهای هدفگیری که هنگام ایجاد آزمایش تعریف شدهاند، به عنوان یک شرط جدید در الگوی شما اضافه میشوند تا اطمینان حاصل شود که این بهروزرسانی فقط بر کاربرانی که توسط آزمایش هدف قرار گرفتهاند، تأثیر میگذارد. پس از کلیک روی «بررسی» در Remote Config برای بررسی تغییرات، روی «انتشار تغییرات» کلیک کنید تا بهروزرسانی کامل شود.
- برای آزمایش In-App Messaging ، از کادر محاورهای استفاده کنید تا مشخص کنید کدام نوع باید به عنوان یک کمپین In-App Messaging مستقل اجرا شود. پس از انتخاب، به صفحه نوشتن FIAM هدایت میشوید تا قبل از انتشار، هرگونه تغییری (در صورت لزوم) را انجام دهید.
گسترش یک آزمایش
اگر متوجه شدید که یک آزمایش، کاربران کافی برای A/B Testing و اعلام برتری را جذب نمیکند، میتوانید توزیع آزمایش خود را افزایش دهید تا به درصد بیشتری از پایگاه کاربران برنامه دسترسی پیدا کنید.
- در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
- آزمایش در حال اجرا را که میخواهید ویرایش کنید، انتخاب کنید.
- در نمای کلی آزمایش ، روی منوی زمینه ( ) کلیک کنید و سپس روی ویرایش آزمایش در حال اجرا کلیک کنید.
- پنجرهی «هدفگذاری» گزینهای را برای افزایش درصد کاربرانی که در آزمایش در حال اجرا هستند نمایش میدهد. عددی بزرگتر از درصد فعلی را انتخاب کنید و روی «انتشار» کلیک کنید. آزمایش به درصد کاربرانی که مشخص کردهاید، منتقل میشود.
تکرار یا متوقف کردن یک آزمایش
- در بخش Engage از منوی ناوبری کنسول Firebase ، روی A/B Testing کلیک کنید.
- روی «تکمیلشده» یا «در حال اجرا» کلیک کنید، اشارهگر را روی آزمایش خود نگه دارید، روی منوی زمینه ( ) کلیک کنید و سپس روی «تکرار آزمایش» یا «توقف آزمایش» کلیک کنید.
هدفگیری کاربر
شما میتوانید با استفاده از معیارهای هدفگیری کاربر زیر، کاربرانی را که میخواهید در آزمایش خود بگنجانید، هدف قرار دهید.
| معیار هدفگذاری | اپراتور(ها) | ارزش(ها) | توجه داشته باشید |
|---|---|---|---|
| نسخه | شامل، حاوی نیست، دقیقاً مطابقت دارد، حاوی عبارت منظم (regex) است | برای یک یا چند نسخه از برنامه که میخواهید در آزمایش گنجانده شوند، مقداری وارد کنید. | هنگام استفاده از هر یک از عملگرهای contains ، does not contain یا matches exactly ، میتوانید لیستی از مقادیر را که با کاما از هم جدا شدهاند، ارائه دهید. هنگام استفاده از عملگر contains regex ، میتوانید عبارات منظم را با فرمت RE2 ایجاد کنید. عبارت منظم شما میتواند با تمام یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین میتوانید از لنگرهای ^ و $ برای مطابقت با ابتدا، انتها یا کل یک رشته هدف استفاده کنید. |
| مخاطبان کاربر (بازدیدکنندگان) | شامل همه میشود، شامل حداقل یکی از موارد زیر باشد، شامل همه نمیشود، حداقل یکی از آنها را شامل نمیشود | یک یا چند مخاطب Analytics را برای هدف قرار دادن کاربرانی که ممکن است در آزمایش شما گنجانده شوند، انتخاب کنید. | برخی از آزمایشهایی که مخاطبان Google Analytics را هدف قرار میدهند، ممکن است به چند روز زمان برای جمعآوری دادهها نیاز داشته باشند، زیرا این آزمایشها مشمول تأخیر پردازش دادههای Analytics هستند. به احتمال زیاد با این تأخیر در مورد کاربران جدید که معمولاً ۲۴ تا ۴۸ ساعت پس از ایجاد در مخاطبان واجد شرایط ثبت میشوند، یا برای مخاطبان اخیراً ایجاد شده، مواجه خواهید شد. |
| ویژگی کاربر | برای متن: شامل، حاوی نیست، دقیقاً مطابقت دارد، حاوی عبارت منظم (regex) است برای اعداد: <، ≤، =، ≥، > | یک ویژگی کاربر Analytics برای انتخاب کاربرانی که ممکن است در یک آزمایش گنجانده شوند، با طیف وسیعی از گزینهها برای انتخاب مقادیر ویژگی کاربر، استفاده میشود. در سمت کلاینت، شما فقط میتوانید مقادیر رشتهای را برای ویژگیهای کاربر تنظیم کنید. برای شرایطی که از عملگرهای عددی استفاده میکنند، سرویس Remote Config مقدار ویژگی کاربر مربوطه را به یک عدد صحیح/اعشاری تبدیل میکند. | هنگام استفاده از عملگر contains regex ، میتوانید عبارات منظم را با فرمت RE2 ایجاد کنید. عبارت منظم شما میتواند با تمام یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین میتوانید از لنگرهای ^ و $ برای مطابقت با ابتدا، انتها یا کل یک رشته هدف استفاده کنید. |
| کشور/منطقه | ناموجود | یک یا چند کشور یا منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند، استفاده میشود. | |
| زبانها | ناموجود | یک یا چند زبان و منطقهی جغرافیایی که برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند، استفاده شده است. | |
| اولین باز | بیشتر از کمتر از بین | کاربران را بر اساس اولین باری که برنامه شما را باز کردهاند، بر حسب روز، هدف قرار دهید. | |
| آخرین تعامل برنامه | بیشتر از کمتر از بین | کاربران را بر اساس آخرین باری که با اپلیکیشن شما تعامل داشتهاند، بر حسب روز، هدف قرار دهید. |
معیارهای A/B Testing
وقتی آزمایش خود را ایجاد میکنید، یک معیار اصلی یا هدف را انتخاب میکنید که برای تعیین نوع برنده استفاده میشود. همچنین باید معیارهای دیگری را پیگیری کنید تا به شما در درک بهتر عملکرد هر نوع آزمایش کمک کند و روندهای مهمی را که ممکن است برای هر نوع متفاوت باشد، مانند حفظ کاربر، پایداری برنامه و درآمد خرید درون برنامه، پیگیری کنید. میتوانید تا پنج معیار غیرهدف را در آزمایش خود پیگیری کنید.
برای مثال، فرض کنید خریدهای درونبرنامهای جدیدی به برنامه خود اضافه کردهاید و میخواهید اثربخشی دو پیام «تشویقی» مختلف را با هم مقایسه کنید. در این حالت، ممکن است تصمیم بگیرید که درآمد حاصل از خرید را به عنوان معیار هدف خود تعیین کنید، زیرا میخواهید نوع برنده، نشان دهنده اعلانی باشد که منجر به بالاترین درآمد خرید درونبرنامهای شده است. و از آنجا که میخواهید پیگیری کنید کدام نوع منجر به تبدیلهای بیشتر در آینده و حفظ کاربران شده است، میتوانید موارد زیر را در سایر معیارها برای پیگیری اضافه کنید:- درآمد کل تخمینی برای مشاهده تفاوت درآمد ترکیبی خرید درونبرنامهای و تبلیغات شما بین دو نوع
- ماندگاری (۱ روز) ، ماندگاری (۲-۳ روز) ، ماندگاری (۴-۷ روز) برای پیگیری میزان ماندگاری کاربر روزانه/هفتگی شما
جداول زیر جزئیاتی در مورد نحوه محاسبه معیارهای هدف و سایر معیارها ارائه میدهند.
معیارهای هدف
| متریک | توضیحات |
|---|---|
| کاربران بدون خرابی | درصد کاربرانی که با خطاهایی که توسط Firebase Crashlytics SDK در طول آزمایش شناسایی شدهاند، در برنامه شما مواجه نشدهاند. |
| درآمد تخمینی تبلیغات | درآمد تخمینی از تبلیغات |
| کل درآمد تخمینی | ارزش ترکیبی برای خرید و درآمد تخمینی تبلیغات. |
| درآمد حاصل از خرید | ارزش ترکیبی برای همه رویدادهای purchase و in_app_purchase . |
| ماندگاری (۱ روز) | تعداد کاربرانی که روزانه به اپلیکیشن شما مراجعه میکنند. |
| ماندگاری (۲-۳ روز) | تعداد کاربرانی که ظرف ۲-۳ روز به اپلیکیشن شما بازمیگردند. |
| ماندگاری (۴-۷ روز) | تعداد کاربرانی که ظرف ۴ تا ۷ روز به اپلیکیشن شما بازمیگردند. |
| ماندگاری (۸-۱۴ روز) | تعداد کاربرانی که ظرف ۸ تا ۱۴ روز دوباره به اپلیکیشن شما مراجعه میکنند. |
| ماندگاری (۱۵+ روز) | تعداد کاربرانی که ۱۵ روز یا بیشتر پس از آخرین استفاده از برنامه شما، دوباره به آن مراجعه میکنند. |
| first_open | یک رویداد Analytics که وقتی کاربر پس از نصب یا نصب مجدد برنامه، آن را برای اولین بار باز میکند، فعال میشود. به عنوان بخشی از قیف تبدیل استفاده میشود. |
سایر معیارها
| متریک | توضیحات |
|---|---|
| notification_dismiss | یک رویداد Analytics که هنگام رد شدن اعلان ارسال شده توسط سازنده اعلانها (Notifications composer) فعال میشود (فقط اندروید). |
| دریافت_اطلاعیه | یک رویداد Analytics که زمانی فعال میشود که اعلان ارسال شده توسط سازنده اعلانها (Notifications composer) در حالی که برنامه در پسزمینه است (فقط اندروید) دریافت شود. |
| بهروزرسانی سیستم عامل | یک رویداد Analytics که هنگام بهروزرسانی سیستم عامل دستگاه به نسخه جدید، ردیابی میکند. برای کسب اطلاعات بیشتر، به رویدادهای جمعآوریشده خودکار مراجعه کنید. |
| نمای صفحه | یک رویداد Analytics که صفحات مشاهده شده در برنامه شما را ردیابی میکند. برای کسب اطلاعات بیشتر، به Track Screenviews مراجعه کنید. |
| شروع_جلسه | یک رویداد Analytics که تعداد جلسات کاربر را در برنامه شما شمارش میکند. برای کسب اطلاعات بیشتر، به رویدادهای جمعآوریشده خودکار مراجعه کنید. |