آزمایش‌های پیام‌رسانی درون‌برنامه‌ای را با تست A/B ایجاد کنید

هنگامی که با کاربران خود ارتباط برقرار می کنید یا یک کمپین بازاریابی جدید را شروع می کنید، می خواهید مطمئن شوید که آن را به درستی انجام داده اید. تست A/B می‌تواند به شما کمک کند تا با آزمایش انواع پیام در بخش‌های انتخابی پایگاه کاربر خود، عبارت و ارائه بهینه را پیدا کنید. چه هدف شما حفظ بهتر یا تبدیل در یک پیشنهاد باشد، آزمایش A/B می‌تواند تجزیه و تحلیل آماری را انجام دهد تا مشخص کند آیا یک نوع پیام از خط پایه برای هدف انتخابی شما بهتر است یا خیر.

برای انواع ویژگی های تست A/B با خط مبنا، موارد زیر را انجام دهید:

  1. آزمایش خود را ایجاد کنید
  2. آزمایش خود را روی دستگاه آزمایشی تأیید کنید.
  3. آزمایش خود را مدیریت کنید

یک آزمایش ایجاد کنید

آزمایشی که از Firebase In-App Messaging استفاده می‌کند، به شما امکان می‌دهد چندین گونه از یک پیام درون‌برنامه را ارزیابی کنید.

  1. به کنسول Firebase وارد شوید و بررسی کنید که Google Analytics در پروژه شما فعال است تا آزمایش به داده های Analytics دسترسی داشته باشد.

    اگر Google Analytics را هنگام ایجاد پروژه خود فعال نکرده اید، می توانید آن را در برگه Integrations فعال کنید، که می توانید با استفاده از > تنظیمات پروژه در کنسول Firebase به آن دسترسی داشته باشید.

  2. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.

  3. روی ایجاد آزمایش کلیک کنید و پس از درخواست سرویسی که می‌خواهید با آن آزمایش کنید ، پیام‌رسانی درون برنامه را انتخاب کنید.

  4. از طرف دیگر، در نوار پیمایش کنسول Firebase ، Engage را گسترش دهید، سپس روی پیام‌رسانی درون برنامه کلیک کنید. سپس آزمایش جدید را کلیک کنید.

  5. یک نام و توضیحات اختیاری برای آزمایش خود وارد کنید و روی Next کلیک کنید.

  6. فیلدهای Targeting را پر کنید، ابتدا برنامه ای را انتخاب کنید که از آزمایش شما استفاده می کند. همچنین می‌توانید با انتخاب گزینه‌هایی که شامل موارد زیر است، زیرمجموعه‌ای از کاربران خود را برای شرکت در آزمایش خود هدف‌گیری کنید:

    • نسخه: یک یا چند نسخه از برنامه شما
    • مخاطبان کاربر: مخاطبان تجزیه و تحلیل برای هدف قرار دادن کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده می شود
    • ویژگی کاربر: یک یا چند ویژگی کاربر Analytics برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
    • کشور/منطقه: یک یا چند کشور یا منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
    • زبان دستگاه: یک یا چند زبان و منطقه مورد استفاده برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
    • اولین باز: کاربران را بر اساس اولین باری که برنامه شما را باز کرده اند مورد هدف قرار دهید
    • آخرین تعامل با برنامه: کاربران را بر اساس آخرین باری که با برنامه شما درگیر شده اند مورد هدف قرار دهید
  7. تنظیم درصد کاربران هدف: درصدی از پایگاه کاربر برنامه خود را انتخاب کنید که با معیارهای تعیین شده در زیر کاربران هدف مطابقت دارد که می‌خواهید به طور مساوی بین خط پایه و یک یا چند نوع در آزمایش خود تقسیم کنید. این می تواند هر درصدی بین 0.01٪ و 100٪ باشد. درصدها برای هر آزمایش، از جمله آزمایش‌های تکراری، به‌طور تصادفی به کاربران تخصیص داده می‌شوند.

  8. در بخش Variants ، یک پیام درون‌برنامه خط پایه را پیکربندی کنید تا با استفاده از رابط طراحی پیامی که برای یک کمپین پیام‌رسانی درون‌برنامه معمولی استفاده می‌کنید، به گروه خط پایه ارسال شود.

  9. برای افزودن یک نوع به آزمایش خود، روی افزودن نوع کلیک کنید. به‌طور پیش‌فرض، آزمایش‌ها یک خط پایه و یک نوع دارند.

  10. (اختیاری) یک نام برای هر گونه در آزمایش خود وارد کنید تا جایگزین نام های متغیر A ، نوع B و غیره شود.

  11. (اختیاری) در بالای بخش Variants ، روی دکمه مقایسه انواع کلیک کنید تا یک نوع پیام دیگر را کنار هم با پیام پایه مقایسه کنید.

  12. یک معیار هدف را برای آزمایش خود تعریف کنید تا از آن هنگام ارزیابی انواع آزمایش به همراه هر سنجه اضافی مورد نظر از لیست کشویی استفاده کنید. این معیارها شامل اهداف داخلی (تعامل، خرید، درآمد، حفظ و غیره)، رویدادهای تبدیل تجزیه و تحلیل و سایر رویدادهای Analytics است.

  13. پیکربندی زمان‌بندی برای آزمایش:

    • تاریخ شروع و پایان آزمایش را تعیین کنید.
    • نحوه راه‌اندازی پیام‌های درون‌برنامه در همه انواع را تنظیم کنید.
  14. برای ذخیره آزمایش خود، روی Review کلیک کنید.

شما مجاز به 300 آزمایش در هر پروژه هستید که می تواند شامل حداکثر 24 آزمایش در حال اجرا باشد و بقیه به صورت پیش نویس یا تکمیل شده باشد.

آزمایش خود را روی دستگاه آزمایشی تأیید کنید

برای هر نصب Firebase، می توانید رمز تأیید نصب مرتبط با آن را بازیابی کنید. می‌توانید از این نشانه برای آزمایش انواع آزمایشی خاص در دستگاه آزمایشی با نصب برنامه خود استفاده کنید. برای تأیید آزمایش خود بر روی یک دستگاه آزمایشی، موارد زیر را انجام دهید:

  1. رمز تأیید نصب را به صورت زیر دریافت کنید:

    سریع

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    هدف-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. در نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  3. روی پیش‌نویس (و/یا اجرای آزمایش‌های پیکربندی از راه دور) کلیک کنید، نشانگر را روی آزمایش خود نگه دارید، روی منوی زمینه ( ) و سپس روی مدیریت دستگاه‌های آزمایشی کلیک کنید.
  4. رمز تأیید نصب را برای یک دستگاه آزمایشی وارد کنید و نوع آزمایشی را برای ارسال به آن دستگاه آزمایشی انتخاب کنید.
  5. برنامه را اجرا کنید و تأیید کنید که نوع انتخاب شده در دستگاه آزمایشی دریافت می شود.

برای کسب اطلاعات بیشتر در مورد نصب های Firebase، به مدیریت نصب های Firebase مراجعه کنید.

آزمایش خود را مدیریت کنید

فرقی نمی‌کند آزمایشی را با Remote Config، آهنگساز اعلان‌ها یا پیام‌رسانی درون‌برنامه Firebase ایجاد کنید، می‌توانید آزمایش خود را تأیید کرده و شروع کنید، آزمایش خود را در حین اجرا نظارت کنید، و تعداد کاربرانی را که در آزمایش در حال اجرا گنجانده شده‌اند افزایش دهید.

وقتی آزمایش شما انجام شد، می‌توانید تنظیمات مورد استفاده توسط نوع برنده را یادداشت کنید و سپس آن تنظیمات را برای همه کاربران پیاده کنید. یا می توانید آزمایش دیگری را اجرا کنید.

آزمایشی را شروع کنید

  1. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  2. روی پیش نویس کلیک کنید و سپس روی عنوان آزمایش خود کلیک کنید.
  3. برای تأیید اینکه برنامه شما دارای کاربرانی است که در آزمایش شما گنجانده می شوند، جزئیات پیش نویس را گسترش دهید و عددی بیشتر از را در بخش هدف گیری و توزیع بررسی کنید (به عنوان مثال، 1٪ از کاربران با معیارها مطابقت دارند).
  4. برای تغییر آزمایش خود، روی ویرایش کلیک کنید.
  5. برای شروع آزمایش، روی شروع آزمایش کلیک کنید. شما می توانید تا 24 آزمایش را در هر پروژه در یک زمان اجرا کنید.

نظارت بر یک آزمایش

وقتی آزمایشی برای مدتی اجرا شد، می‌توانید پیشرفت آن را بررسی کنید و ببینید نتایج شما برای کاربرانی که تاکنون در آزمایش شما شرکت کرده‌اند چگونه است.

  1. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  2. روی Running کلیک کنید و سپس روی عنوان آزمایش خود کلیک کنید. در این صفحه می‌توانید آمارهای مشاهده‌شده و مدل‌سازی‌شده‌ای در مورد آزمایش در حال اجرا خود مشاهده کنید، از جمله موارد زیر:

    • درصد تفاوت از خط مبنا : معیاری برای بهبود یک متریک برای یک نوع معین در مقایسه با خط پایه. با مقایسه محدوده مقدار برای متغیر با محدوده ارزش برای خط مبنا محاسبه می شود.
    • احتمال شکست خط پایه : احتمال تخمین زده شده که یک نوع معین از خط مبنا برای متریک انتخاب شده عبور کند.
    • observed_metric برای هر کاربر : بر اساس نتایج آزمایش، این محدوده پیش‌بینی‌شده‌ای است که مقدار متریک در طول زمان در آن قرار می‌گیرد.
    • مجموع observed_metric : مقدار تجمعی مشاهده شده برای خط مبنا یا متغیر. از این مقدار برای اندازه‌گیری عملکرد هر یک از انواع آزمایش استفاده می‌شود، و برای محاسبه بهبود ، محدوده ارزش ، احتمال شکست خط پایه ، و احتمال بهترین گزینه استفاده می‌شود . بسته به معیاری که اندازه‌گیری می‌شود، این ستون ممکن است دارای برچسب «مدت هر کاربر»، «درآمد به ازای هر کاربر»، «نرخ حفظ» یا «نرخ تبدیل» باشد.
  3. پس از اینکه آزمایش شما برای مدتی اجرا شد (حداقل 7 روز برای FCM و پیام‌رسانی درون برنامه یا 14 روز برای پیکربندی از راه دور)، داده‌های این صفحه نشان می‌دهد که کدام نوع، در صورت وجود، «رهبر» است. برخی از اندازه‌گیری‌ها با نمودار میله‌ای همراه هستند که داده‌ها را در قالب تصویری ارائه می‌کند.

آزمایشی را برای همه کاربران اجرا کنید

بعد از اینکه یک آزمایش به اندازه کافی طولانی شد که یک "رهبر" یا نوع برنده برای معیار هدف خود داشته باشید، می توانید آزمایش را برای 100٪ از کاربران اجرا کنید. این به شما امکان می‌دهد یک نوع را برای انتشار برای همه کاربرانی که در حال پیشرفت هستند انتخاب کنید. حتی اگر آزمایش شما برنده مشخصی ایجاد نکرده باشد، همچنان می‌توانید انتخاب کنید که یک نسخه را برای همه کاربران خود عرضه کنید.

  1. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  2. روی Completed یا Running کلیک کنید، آزمایشی را که می‌خواهید برای همه کاربران اجرا کنید، روی منوی زمینه ( ) و سپس روی Roll out variant کلیک کنید.
  3. با انجام یکی از موارد زیر، آزمایش خود را برای همه کاربران عرضه کنید:

    • برای آزمایشی که از سازنده اعلان‌ها استفاده می‌کند، از گفتگوی Roll out message استفاده کنید تا پیام را به بقیه کاربران هدف که بخشی از آزمایش نبودند ارسال کنید.
    • برای آزمایش Remote Config ، یک متغیر را انتخاب کنید تا مشخص شود کدام مقادیر پارامتر Remote Config باید به‌روزرسانی شود. معیارهای هدف‌یابی که هنگام ایجاد آزمایش تعریف شده‌اند، به‌عنوان یک شرط جدید در الگوی شما اضافه می‌شوند تا اطمینان حاصل شود که عرضه فقط بر کاربران هدف آزمایش تأثیر می‌گذارد. پس از کلیک بر روی Review in Remote Config برای بررسی تغییرات، روی انتشار تغییرات کلیک کنید تا عرضه کامل شود.
    • برای آزمایش پیام‌رسانی درون‌برنامه، از کادر گفتگو استفاده کنید تا مشخص کنید کدام نوع باید به‌عنوان یک کمپین پیام‌رسان درون‌برنامه مستقل عرضه شود. پس از انتخاب، به صفحه نوشتن FIAM هدایت می‌شوید تا قبل از انتشار هرگونه تغییری (در صورت لزوم) ایجاد کنید.

یک آزمایش را گسترش دهید

اگر متوجه شدید که آزمایشی کاربران کافی برای آزمایش A/B برای اعلام یک رهبر وارد نمی‌کند، می‌توانید توزیع آزمایش خود را افزایش دهید تا به درصد بیشتری از پایگاه کاربر برنامه برسید.

  1. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  2. آزمایش در حال اجرا را که می خواهید ویرایش کنید انتخاب کنید.
  3. در نمای کلی آزمایش ، روی منوی زمینه ( ) و سپس روی ویرایش آزمایش در حال اجرا کلیک کنید.
  4. گفتگوی Targeting گزینه ای برای افزایش درصد کاربرانی که در آزمایش فعلی هستند را نشان می دهد. عددی بزرگتر از درصد فعلی را انتخاب کنید و روی انتشار کلیک کنید. آزمایش به درصد کاربرانی که مشخص کرده‌اید منتقل می‌شود.

یک آزمایش را کپی یا متوقف کنید

  1. در بخش Engage نوار پیمایش کنسول Firebase ، روی A/B Testing کلیک کنید.
  2. روی Completed یا Running کلیک کنید، نشانگر را روی آزمایش خود نگه دارید، روی منوی زمینه ( ) کلیک کنید و سپس روی آزمایش تکراری یا توقف آزمایش کلیک کنید.

هدف گذاری کاربر

می‌توانید با استفاده از معیارهای هدف‌یابی کاربر زیر، کاربرانی را هدف قرار دهید تا در آزمایش خود بگنجانند.

معیار هدف گذاری اپراتور(های) ارزش های) توجه داشته باشید
نسخه شامل،
شامل نمی شود،
دقیقا مطابقت دارد،
حاوی regex است
مقداری را برای یک یا چند نسخه برنامه که می‌خواهید در آزمایش لحاظ کنید، وارد کنید.

هنگام استفاده از هر یک از اپراتورهای حاوی ، حاوی ، یا دقیقاً مطابقت دارد، می‌توانید فهرستی از مقادیر جدا شده با کاما ارائه دهید.

هنگام استفاده از عملگر contain regex ، می توانید عبارات منظم در قالب RE2 ایجاد کنید. عبارت منظم شما می تواند با تمام یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین می توانید از لنگرهای ^ و $ برای مطابقت با شروع، پایان یا کل یک رشته هدف استفاده کنید.

مخاطبان کاربر شامل همه،
شامل حداقل یکی از
شامل همه نمی شود،
حداقل یکی از آنها را شامل نمی شود
یک یا چند مخاطب Analytics را برای هدف قرار دادن کاربرانی که ممکن است در آزمایش شما گنجانده شوند، انتخاب کنید. برخی از آزمایش‌هایی که مخاطبان Google Analytics را هدف قرار می‌دهند ممکن است به چند روز برای جمع‌آوری داده‌ها نیاز داشته باشند، زیرا در معرض تأخیر پردازش داده‌های Analytics هستند. به احتمال زیاد با این تأخیر در کاربران جدیدی مواجه خواهید شد که معمولاً 24 تا 48 ساعت پس از ایجاد در بین مخاطبان واجد شرایط ثبت نام می‌شوند یا برای مخاطبانی که اخیراً ایجاد شده‌اند.
دارایی کاربر برای متن:
شامل،
شامل نمی شود،
دقیقا مطابقت دارد
حاوی regex است

برای اعداد:
<، ≤، =، ≥، >
ویژگی کاربر Analytics برای انتخاب کاربرانی که ممکن است در یک آزمایش گنجانده شوند، با طیف وسیعی از گزینه‌ها برای انتخاب مقادیر ویژگی کاربر استفاده می‌شود.

در کلاینت، می توانید فقط مقادیر رشته ای را برای خصوصیات کاربر تنظیم کنید. برای شرایطی که از عملگرهای عددی استفاده می کنند، سرویس Remote Config مقدار ویژگی کاربر مربوطه را به یک عدد صحیح/فلوت تبدیل می کند.
هنگام استفاده از عملگر contain regex ، می توانید عبارات منظم در قالب RE2 ایجاد کنید. عبارت منظم شما می تواند با تمام یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین می توانید از لنگرهای ^ و $ برای مطابقت با شروع، پایان یا کل یک رشته هدف استفاده کنید.
کشور دستگاه N/A یک یا چند کشور یا منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده می شود.
زبان دستگاه N/A یک یا چند زبان و منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده می شود. این معیار هدف گیری فقط برای Remote Config در دسترس است.
ابتدا باز کنید بیشتر از
کمتر از
بین
کاربران را بر اساس اولین باری که برنامه شما را باز کردند، که در چند روز مشخص شده است، هدف قرار دهید. این معیار هدف‌گیری فقط برای پیام‌رسانی درون‌برنامه Firebase در دسترس است.
آخرین تعامل با برنامه بیشتر از
کمتر از
بین
کاربران را بر اساس آخرین باری که با برنامه شما درگیر شده‌اند، که در چند روز مشخص شده است، هدف قرار دهید. این معیار هدف‌گیری فقط برای پیام‌رسانی درون‌برنامه Firebase در دسترس است.

معیارهای تست A/B

هنگامی که آزمایش خود را ایجاد می کنید، معیار اصلی یا هدف را انتخاب می کنید که برای تعیین نوع برنده استفاده می شود. همچنین باید معیارهای دیگر را ردیابی کنید تا به شما در درک بهتر عملکرد هر گونه آزمایشی کمک کند و روندهای مهمی را که ممکن است برای هر گونه متفاوت باشد، مانند حفظ کاربر، ثبات برنامه و درآمد خرید درون‌برنامه ردیابی کنید. می‌توانید حداکثر پنج معیار غیرهدف را در آزمایش خود دنبال کنید.

به عنوان مثال، فرض کنید که خریدهای درون‌برنامه‌ای جدید را به برنامه خود اضافه کرده‌اید و می‌خواهید اثربخشی دو پیام متفاوت «تارنج» را مقایسه کنید. در این مورد، ممکن است تصمیم بگیرید که درآمد خرید را به عنوان معیار هدف خود تنظیم کنید، زیرا می‌خواهید نوع برنده اعلانی باشد که منجر به بالاترین درآمد خرید درون‌برنامه شده است. و از آنجایی که شما همچنین می‌خواهید ردیابی کنید که کدام نوع منجر به تبدیل‌های بیشتر در آینده و کاربران باقی مانده شده است، می‌توانید موارد زیر را در سایر معیارها برای ردیابی اضافه کنید:

  • کل درآمد تخمینی برای مشاهده اینکه ترکیب خرید درون‌برنامه و درآمد تبلیغاتی شما چه تفاوتی بین این دو نوع دارد
  • حفظ (1 روز) ، حفظ (2-3 روز) ، حفظ (4-7 روز) برای پیگیری حفظ روزانه/هفتگی کاربر

جداول زیر جزئیاتی در مورد نحوه محاسبه معیارهای هدف و سایر معیارها ارائه می دهد.

معیارهای هدف

متریک شرح
کاربران بدون خرابی درصد کاربرانی که در برنامه شما با خطاهایی مواجه نشده اند که توسط Firebase Crashlytics SDK در طول آزمایش شناسایی شده است.
درآمد تخمینی تبلیغات درآمد تخمینی تبلیغات
کل درآمد تخمینی ارزش ترکیبی برای خرید و درآمد تخمینی تبلیغات.
درآمد خرید ارزش ترکیبی برای همه رویدادهای purchase و in_app_purchase .
نگهداری (1 روز) تعداد کاربرانی که به صورت روزانه به برنامه شما باز می گردند.
نگهداری (2-3 روز) تعداد کاربرانی که ظرف 2 تا 3 روز به برنامه شما بازگشته اند.
نگهداری (4-7 روز) تعداد کاربرانی که ظرف 4 تا 7 روز به برنامه شما بازگشته اند.
نگهداری (8-14 روز) تعداد کاربرانی که ظرف 8 تا 14 روز به برنامه شما بازگشته اند.
نگهداری (بیش از 15 روز) تعداد کاربرانی که 15 روز یا بیشتر پس از آخرین استفاده از برنامه شما به آن بازگشته اند.
first_open یک رویداد Analytics که وقتی کاربر برای اولین بار یک برنامه را پس از نصب یا نصب مجدد آن باز می کند، فعال می شود. به عنوان بخشی از یک قیف تبدیل استفاده می شود.

سایر معیارها

متریک شرح
notification_dismiss یک رویداد Analytics که زمانی فعال می‌شود که اعلان ارسال شده توسط سازنده Notifications رد شود (فقط Android).
notification_receive رویداد Analytics که هنگام دریافت اعلان ارسال شده توسط Notifications composer در حالی که برنامه در پس‌زمینه است (فقط اندروید) شروع می‌شود.
os_update یک رویداد Analytics که زمان به‌روزرسانی سیستم عامل دستگاه به نسخه جدید را ردیابی می‌کند. برای اطلاعات بیشتر، رویدادهای جمع‌آوری شده خودکار را ببینید.
screen_view یک رویداد Analytics که صفحه‌های مشاهده شده در برنامه شما را ردیابی می‌کند. برای کسب اطلاعات بیشتر، ردیابی نماهای صفحه را ببینید.
جلسه_شروع یک رویداد Analytics که جلسات کاربر را در برنامه شما شمارش می کند. برای کسب اطلاعات بیشتر، به رویدادهای جمع آوری خودکار مراجعه کنید.