A/B পরীক্ষার সাথে ফায়ারবেস রিমোট কনফিগার পরীক্ষা তৈরি করুন

যখন আপনি সক্রিয় ব্যবহারকারী আছে এমন কোনো অ্যাপ্লিকেশনের জন্য সেটিংস ডেপ্লয় করতে Firebase Remote Config ব্যবহার করেন, তখন আপনাকে নিশ্চিত করতে হবে যে কাজটি সঠিকভাবে হচ্ছে। নিম্নলিখিত বিষয়গুলো সবচেয়ে ভালোভাবে নির্ধারণ করার জন্য আপনি A/B Testing এক্সপেরিমেন্ট ব্যবহার করতে পারেন:

• ব্যবহারকারীর অভিজ্ঞতা উন্নত করার জন্য কোনো ফিচার প্রয়োগ করার সেরা উপায় হলো A/B Testing পরিমাপ করতে সাহায্য করে যে আপনার ব্যবহারকারীরা ফিচারের নতুন সংস্করণগুলো পছন্দ করছেন, নাকি তারা অ্যাপটির বর্তমান রূপটিই বেশি পছন্দ করেন। এছাড়াও, আপনার বেশিরভাগ ব্যবহারকারীকে একটি বেসলাইন গ্রুপে রাখলে এটি নিশ্চিত হয় যে, পরীক্ষাটি শেষ না হওয়া পর্যন্ত আপনার ব্যবহারকারীদের একটি বড় অংশ অ্যাপটির আচরণ বা চেহারায় কোনো পরিবর্তন ছাড়াই এটি ব্যবহার করা চালিয়ে যেতে পারবেন।
• একটি ব্যবসায়িক লক্ষ্যের জন্য ব্যবহারকারীর অভিজ্ঞতাকে অপ্টিমাইজ করার সেরা উপায় হলো এ/বি টেস্টিং। কখনও কখনও আপনি রাজস্ব বা রিটেনশনের মতো কোনো মেট্রিককে সর্বোচ্চ করার জন্য পণ্যে পরিবর্তন আনেন। A/B Testing মাধ্যমে, আপনি আপনার ব্যবসায়িক উদ্দেশ্য নির্ধারণ করেন এবং ফায়ারবেস পরিসংখ্যানগত বিশ্লেষণ করে নির্ধারণ করে যে, কোনো ভ্যারিয়েন্ট আপনার নির্বাচিত উদ্দেশ্যের জন্য বেসলাইনের চেয়ে ভালো পারফর্ম করছে কি না।

একটি বেসলাইনের সাথে ফিচার ভ্যারিয়েন্টগুলোর A/B টেস্ট করতে, নিম্নলিখিত পদক্ষেপগুলো অনুসরণ করুন:

1. আপনার পরীক্ষাটি তৈরি করুন।
2. আপনার পরীক্ষাটি পরিচালনা করুন।

একটি পরীক্ষা তৈরি করুন

একটি Remote Config এক্সপেরিমেন্ট আপনাকে এক বা একাধিক Remote Config প্যারামিটারের একাধিক ভ্যারিয়েন্ট মূল্যায়ন করার সুযোগ দেয়।

1. আপনার প্রোজেক্টে Google Analytics সক্রিয় করা আছে কিনা তা যাচাই করুন, যাতে এক্সপেরিমেন্টটি Analytics ডেটা অ্যাক্সেস করতে পারে।

   প্রজেক্ট তৈরি করার সময় যদি আপনি Google Analytics চালু না করে থাকেন, তাহলে আপনি এটি চালু করতে পারেন। Firebase কনসোলের settings > ইন্টিগ্রেশন ট্যাব ।

2. Firebase কনসোলে, DevOps & Engagement > A/B Testing- এ যান।

3. Create experiment-এ ক্লিক করুন, এবং তারপরে আপনি যে পরিষেবাটি নিয়ে পরীক্ষা করতে চান তার জন্য অনুরোধ করা হলে Remote Config নির্বাচন করুন।

4. ভ্যারিয়েন্টস সেকশনে, পরীক্ষাটির জন্য একটি বেসলাইন এবং অন্তত একটি ভ্যারিয়েন্ট বেছে নিন। পরীক্ষা চালানোর জন্য আপনি এক বা একাধিক প্যারামিটার যোগ করতে পারেন। আপনার পরীক্ষায় একাধিক প্যারামিটার যোগ করতে আপনি এই ধাপটি পুনরাবৃত্তি করতে পারেন।

5. (ঐচ্ছিক) আপনার পরীক্ষায় একাধিক ভ্যারিয়েন্ট যোগ করতে, ‘Add another variant’- এ ক্লিক করুন।

6. নির্দিষ্ট ভ্যারিয়েন্টগুলোর জন্য এক বা একাধিক প্যারামিটার পরিবর্তন করুন। পরীক্ষায় অন্তর্ভুক্ত নন এমন ব্যবহারকারীদের জন্য অপরিবর্তিত প্যারামিটারগুলো একই থাকবে।

7. পরীক্ষার জন্য ভ্যারিয়েন্টের ওয়েট দেখতে বা পরিবর্তন করতে ‘Variant Weights’ অংশটি প্রসারিত করুন। ডিফল্টরূপে, প্রতিটি ভ্যারিয়েন্টকে সমান ওয়েট দেওয়া হয়। মনে রাখবেন যে, অসম ওয়েটের কারণে ডেটা সংগ্রহের সময় বেড়ে যেতে পারে এবং পরীক্ষা শুরু হয়ে গেলে ওয়েট পরিবর্তন করা যায় না ।

8. Remote Config শর্তাবলী ব্যবহার করে আপনার এক্সপেরিমেন্টের জন্য টার্গেটিং ক্রাইটেরিয়া নির্ধারণ করুন:

   • বিদ্যমান শর্ত পুনরায় ব্যবহার করুন: যদি আপনার Remote Config টেমপ্লেটে থাকা কোনো বিদ্যমান শর্ত আপনার টার্গেট অডিয়েন্সের সাথে আগে থেকেই মিলে যায়, তাহলে তালিকা থেকে সেটি নির্বাচন করুন।

   • শর্ত মূল্যায়নের ক্রম যাচাই করুন: নিশ্চিত করুন যে 'শর্তাবলী' পৃষ্ঠায় আপনার শর্তগুলো সঠিক অগ্রাধিকার ক্রমে সাজানো আছে। যেহেতু Remote Config শর্তগুলোকে উপর থেকে নিচে ক্রমানুসারে মূল্যায়ন করে, তাই অন্যান্য উচ্চ-অগ্রাধিকারের শর্তগুলো আপনার এক্সপেরিমেন্টের সাথে যুক্ত শর্তটিতে পর্যাপ্ত সংখ্যক ব্যবহারকারীকে পৌঁছাতে বাধা দিতে পারে।

   • একটি নতুন শর্ত তৈরি করুন: যদি কোনো বিদ্যমান শর্ত আপনার টার্গেটিংয়ের প্রয়োজনীয়তা পূরণ না করে, অথবা যদি আপনি একটি বিদ্যমান শর্তের প্রতিলিপি তৈরি করতে চান (উদাহরণস্বরূপ, যদি আপনি এমন কোনো শর্ত ব্যবহার করতে না চান যা ইতিমধ্যে অন্যান্য প্যারামিটার দ্বারা ব্যবহৃত হচ্ছে), তাহলে প্রথমে আপনার এক্সপেরিমেন্ট ব্যবহারকারী অ্যাপটি বেছে নিয়ে একটি নতুন শর্ত তৈরি করুন। যদি আপনি কোনো এক্সপেরিমেন্টের জন্য একটি পৃথক বা প্রতিলিপি শর্ত তৈরি করেন, তবে নিশ্চিত করুন যে নতুন শর্তটি বিদ্যমান শর্তের চেয়ে উচ্চতর অগ্রাধিকারের অবস্থানে রয়েছে; অন্যথায়, ব্যবহারকারীরা প্রথমে বিদ্যমান শর্তের সাথে মিলে যাবে এবং কোনো ব্যবহারকারী এক্সপেরিমেন্টে প্রবেশ করবে না।

     এরপর আপনি ক্লিক করে এবং নিচের তালিকা থেকে এক বা একাধিক বিকল্প নির্বাচন করে ব্যবহারকারীদের একটি নির্দিষ্ট উপগোষ্ঠীকে লক্ষ্য করতে পারেন:

     • সংস্করণ: আপনার অ্যাপের এক বা একাধিক সংস্করণ
     • বিল্ড নম্বর: আপনার অ্যাপের বিল্ড নম্বর (অ্যাপল) বা ভার্সন কোড (অ্যান্ড্রয়েড)।
     • প্ল্যাটফর্ম: এক বা একাধিক প্ল্যাটফর্ম (iOS, Android, বা Web) লক্ষ্য করা হবে
     • অপারেটিং সিস্টেম: তাদের অপারেটিং সিস্টেম এবং ভার্সনের উপর ভিত্তি করে ওয়েব অ্যাপ ব্যবহারকারীদের লক্ষ্য করুন।
     • ব্রাউজার: ওয়েব ব্রাউজার এবং ব্রাউজার সংস্করণের উপর ভিত্তি করে ওয়েব অ্যাপ ব্যবহারকারীদের লক্ষ্য করুন।
     • ডিভাইসের বিভাগ: ব্যবহারকারীদের ডিভাইস মোবাইল নাকি নন-মোবাইল, তার উপর ভিত্তি করে ওয়েব অ্যাপ ব্যবহারকারীদের লক্ষ্য করুন।
     • ভাষা: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের নির্বাচন করার জন্য ব্যবহৃত এক বা একাধিক ভাষা এবং লোকেল।
     • দেশ/অঞ্চল: পরীক্ষায় অন্তর্ভুক্ত করার জন্য ব্যবহারকারী নির্বাচনের উদ্দেশ্যে এক বা একাধিক দেশ বা অঞ্চল।
     • ব্যবহারকারী অডিয়েন্স: Analytics অডিয়েন্স, যা এমন ব্যবহারকারীদের টার্গেট করতে ব্যবহৃত হয় যারা এই পরীক্ষায় অন্তর্ভুক্ত হতে পারেন।
     • ব্যবহারকারীর বৈশিষ্ট্য: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের নির্বাচন করার জন্য এক বা একাধিক Analytics ব্যবহারকারীর বৈশিষ্ট্য।
     • এলোমেলো শতাংশে ব্যবহারকারী: একটি সংজ্ঞায়িত শতাংশ পরিসরের মধ্যে থেকে এলোমেলোভাবে নির্বাচিত ব্যবহারকারীদের একটি নির্দিষ্ট শতাংশকে লক্ষ্য করুন।
     • ইমপোর্টেড সেগমেন্ট: আপনার প্রজেক্টে আপলোড করা কাস্টম ইমপোর্টেড সেগমেন্টের অন্তর্ভুক্ত ব্যবহারকারীদের টার্গেট করুন।
     • তারিখ/সময়: একটি নির্দিষ্ট তারিখ এবং সময়ের মধ্যে ব্যবহারকারীদের লক্ষ্য করা।
     • প্রথমবার খোলা: ব্যবহারকারীরা প্রথমবারের মতো আপনার অ্যাপটি খোলার উপর ভিত্তি করে তাদের লক্ষ্য করুন।
     • ইনস্টলেশন আইডি: তাদের ফায়ারবেস ইনস্টলেশন আইডি (FID) ব্যবহার করে নির্দিষ্ট টেস্ট ডিভাইস বা ক্লায়েন্ট ইনস্ট্যান্সকে টার্গেট করুন।
     • ব্যবহারকারী বিদ্যমান: প্রজেক্টের সমস্ত অ্যাপের সকল ব্যবহারকারীকে টার্গেট করুন।
     • কাস্টম সিগন্যাল: রানটাইমে প্রেরিত কাস্টম ক্লায়েন্ট-সাইড কী-ভ্যালু সিগন্যালের উপর ভিত্তি করে ব্যবহারকারীদের টার্গেট করা।

9. এক্সপোজার নির্ধারণ করুন: আপনার এক্সপেরিমেন্টে বেসলাইন এবং এক বা একাধিক ভ্যারিয়েন্টের মধ্যে সমানভাবে ভাগ করার জন্য, 'টার্গেট ইউজার্স' -এর অধীনে নির্ধারিত শর্তের সাথে মেলে এমন আপনার অ্যাপের ব্যবহারকারীর শতাংশ লিখুন। এই শতাংশ ০% থেকে ১০০%-এর মধ্যে যেকোনো হতে পারে। ডুপ্লিকেট এক্সপেরিমেন্ট সহ প্রতিটি এক্সপেরিমেন্টে ব্যবহারকারীদের এলোমেলোভাবে বরাদ্দ করা হয়।

10. ঐচ্ছিকভাবে, একটি অ্যাক্টিভেশন ইভেন্ট সেট করুন যাতে আপনার এক্সপেরিমেন্টে শুধুমাত্র সেইসব ব্যবহারকারীর ডেটা গণনা করা হয়, যারা প্রথম কোনো Analytics ইভেন্ট ট্রিগার করেছেন। মনে রাখবেন যে, আপনার টার্গেটিং প্যারামিটারের সাথে মিলে যাওয়া সমস্ত ব্যবহারকারী Remote Config এক্সপেরিমেন্টাল ভ্যালু পাবেন, কিন্তু শুধুমাত্র তারাই আপনার এক্সপেরিমেন্টের ফলাফলে অন্তর্ভুক্ত হবেন, যারা একটি অ্যাক্টিভেশন ইভেন্ট ট্রিগার করবেন।

    একটি বৈধ এক্সপেরিমেন্ট নিশ্চিত করতে, খেয়াল রাখবেন যেন আপনার নির্বাচিত ইভেন্টটি আপনার অ্যাপ দ্বারা ফেচ করা কনফিগারেশন ভ্যালুগুলো অ্যাক্টিভেট করার পরে ঘটে। এছাড়াও, নিম্নলিখিত ইভেন্টগুলো ব্যবহার করা যাবে না, কারণ এগুলো সবসময় ফেচ করা ভ্যালুগুলো অ্যাক্টিভেট হওয়ার আগে ঘটে:

    • app_install
    • app_remove
    • app_update

    Analytics ইভেন্ট হিসেবে আপনি যে অ্যানালিটিক্স ইভেন্টটি নির্বাচন করবেন, সেটি একই এক্সপেরিমেন্টে প্রাইমারি মেট্রিক (বা অতিরিক্ত মেট্রিক) হিসেবে ব্যবহার করা যাবে না। এমনটা করলে ফায়ারবেস কনসোলে একটি ভ্যালিডেশন এরর দেখা দেবে এবং আপনার এক্সপেরিমেন্টটি চালু হতে পারবে না।

11. এক্সপেরিমেন্টের ' Goals'- এর জন্য, ট্র্যাক করার প্রধান মেট্রিকটি নির্বাচন করুন এবং তালিকা থেকে আপনি ট্র্যাক করতে চান এমন যেকোনো অতিরিক্ত মেট্রিক যোগ করুন। এগুলোর মধ্যে রয়েছে বিল্ট-ইন উদ্দেশ্যসমূহ (যেমন: ক্রয়, রাজস্ব, রিটেনশন, ক্র্যাশ-মুক্ত ব্যবহারকারী ইত্যাদি), Analytics কনভার্সন ইভেন্ট এবং অন্যান্য Analytics ইভেন্ট। কাজ শেষ হলে, 'Next'-এ ক্লিক করুন।

12. আপনার এক্সপেরিমেন্টটি সংরক্ষণ করতে সেভ-এ ক্লিক করুন। এক্সপেরিমেন্টটি চালানো শুরু করতে আপনাকে অবশ্যই টেমপ্লেটটি পাবলিশ করতে হবে।

প্রতিটি প্রকল্পে আপনাকে সর্বোচ্চ ৩০০টি এক্সপেরিমেন্ট (রোলআউট সহ) করার অনুমতি দেওয়া হয়েছে, যার মধ্যে সর্বোচ্চ ২৪টি চলমান এক্সপেরিমেন্ট ও রোলআউট এবং বাকিগুলো সম্পন্ন এক্সপেরিমেন্ট হিসেবে থাকবে।

আপনার পরীক্ষাটি পরিচালনা করুন

যখন আপনি Remote Config ব্যবহার করে একটি এক্সপেরিমেন্ট তৈরি করেন, তখন আপনি আপনার এক্সপেরিমেন্টটি শুরু করতে, এটি চলার সময় পর্যবেক্ষণ করতে এবং আপনার চলমান এক্সপেরিমেন্টে অন্তর্ভুক্ত ব্যবহারকারীর সংখ্যা বাড়াতে পারেন।

আপনার পরীক্ষাটি সম্পন্ন হলে, আপনি বিজয়ী ভ্যারিয়েন্টটির ব্যবহৃত সেটিংসগুলো নোট করে নিতে পারেন এবং তারপর সেই সেটিংসগুলো সকল ব্যবহারকারীর জন্য চালু করে দিতে পারেন। অথবা, আপনি আরেকটি পরীক্ষা চালাতে পারেন।

একটি পরীক্ষা সম্পাদনা করুন

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।
3. Running-এ ক্লিক করুন, এরপর যে এক্সপেরিমেন্টটি সম্পাদনা করতে চান সেটিতে ক্লিক করুন।
4. কন্টেক্সট মেনু ( more_vert ) ক্লিক করুন এবং চলমান এক্সপেরিমেন্ট সম্পাদনা করুন- এ ক্লিক করুন।
5. আপনার অ্যাপে এমন ব্যবহারকারী আছেন কিনা যারা আপনার এক্সপেরিমেন্টে অন্তর্ভুক্ত হবেন, তা যাচাই করতে, ডিটেইলসগুলো এক্সপ্যান্ড করুন এবং টার্গেটিং অ্যান্ড ডিস্ট্রিবিউশন সেকশনে 0%-এর চেয়ে বড় কোনো সংখ্যা আছে কিনা তা দেখুন (উদাহরণস্বরূপ, ক্রাইটেরিয়ার সাথে মিলে যাওয়া ব্যবহারকারীদের 1% )।

একটি পরীক্ষা পর্যবেক্ষণ করুন

একটি পরীক্ষা কিছুক্ষণ চলার পর, আপনি এর অগ্রগতি যাচাই করতে পারেন এবং এখন পর্যন্ত আপনার পরীক্ষায় অংশগ্রহণকারী ব্যবহারকারীদের জন্য ফলাফল কেমন দেখাচ্ছে তা দেখতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।

3. 'Running'-এ ক্লিক করুন, এবং তারপর আপনার এক্সপেরিমেন্টের শিরোনামে ক্লিক করুন বা অনুসন্ধান করুন। এই পৃষ্ঠায়, আপনি আপনার চলমান এক্সপেরিমেন্ট সম্পর্কিত বিভিন্ন পর্যবেক্ষণকৃত এবং মডেলকৃত পরিসংখ্যান দেখতে পারবেন, যার মধ্যে নিম্নলিখিতগুলো অন্তর্ভুক্ত:

   • বেসলাইন থেকে শতাংশ পার্থক্য : বেসলাইনের তুলনায় কোনো প্রদত্ত ভ্যারিয়েন্টের জন্য একটি মেট্রিকের উন্নতির পরিমাপ। ভ্যারিয়েন্টটির মান পরিসরকে বেসলাইনের মান পরিসরের সাথে তুলনা করে এটি গণনা করা হয়।
   • বেসলাইনকে ছাড়িয়ে যাওয়ার সম্ভাবনা : নির্বাচিত মেট্রিকের ক্ষেত্রে কোনো প্রদত্ত ভ্যারিয়েন্টের বেসলাইনকে ছাড়িয়ে যাওয়ার আনুমানিক সম্ভাবনা।
   • প্রতি ব্যবহারকারীর observed_metric : পরীক্ষার ফলাফলের উপর ভিত্তি করে, এটি হলো সেই পূর্বাভাসিত পরিসর যার মধ্যে সময়ের সাথে সাথে মেট্রিকের মানটি থাকবে।
   • মোট observed_metric : বেসলাইন বা ভ্যারিয়েন্টের জন্য পর্যবেক্ষণকৃত ক্রমবর্ধমান মান। প্রতিটি এক্সপেরিমেন্ট ভ্যারিয়েন্ট কতটা ভালো পারফর্ম করে তা পরিমাপ করতে এবং উন্নতি , মানের পরিসর , বেসলাইনকে হারানোর সম্ভাবনা , ও সেরা ভ্যারিয়েন্ট হওয়ার সম্ভাবনা গণনা করতে এই মানটি ব্যবহৃত হয়। পরিমাপ করা মেট্রিকের উপর নির্ভর করে, এই কলামটির লেবেল "ব্যবহারকারী প্রতি সময়কাল," "ব্যবহারকারী প্রতি আয়," "রিটেনশন রেট," বা "কনভার্সন রেট" হতে পারে।

4. আপনার পরীক্ষাটি কিছু সময় চলার পর ( Remote Config জন্য ১৪ দিন), এই পৃষ্ঠার ডেটা থেকে জানা যায় কোন ভ্যারিয়েন্টটি (যদি থাকে) "লিডার"। কিছু পরিমাপের সাথে একটি বার চার্ট থাকে যা ডেটাগুলোকে একটি ভিজ্যুয়াল ফরম্যাটে উপস্থাপন করে।

সকল ব্যবহারকারীর জন্য একটি পরীক্ষা চালু করুন

একটি পরীক্ষা যথেষ্ট সময় ধরে চলার পর যখন আপনার কাঙ্ক্ষিত মেট্রিকের জন্য একটি 'লিডার' বা বিজয়ী ভ্যারিয়েন্ট পাওয়া যায়, তখন আপনি পরীক্ষাটি ১০০% ব্যবহারকারীর জন্য প্রকাশ করতে পারেন। এর মাধ্যমে আপনি ভবিষ্যতে সকল ব্যবহারকারীর জন্য প্রকাশ করার মতো একটি ভ্যারিয়েন্ট বেছে নিতে পারেন। এমনকি যদি আপনার পরীক্ষাটি কোনো সুস্পষ্ট বিজয়ী তৈরি না করে, তবুও আপনি আপনার সকল ব্যবহারকারীর জন্য একটি ভ্যারিয়েন্ট প্রকাশ করার সিদ্ধান্ত নিতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।
3. Completed বা Running-এ ক্লিক করুন, যে এক্সপেরিমেন্টটি আপনি সকল ব্যবহারকারীর জন্য রিলিজ করতে চান সেটিতে ক্লিক করুন, এরপর কনটেক্সট মেনু ( more_vert ) থেকে Roll out variant-এ ক্লিক করুন।
4. নিম্নলিখিত কাজগুলো করে আপনার পরীক্ষাটি সকল ব্যবহারকারীর কাছে চালু করুন:
   • একটি Remote Config এক্সপেরিমেন্টের জন্য, কোন Remote Config প্যারামিটার ভ্যালুগুলো আপডেট করতে হবে তা নির্ধারণ করতে একটি ভ্যারিয়েন্ট নির্বাচন করুন। এক্সপেরিমেন্টটি তৈরি করার সময় সংজ্ঞায়িত টার্গেটিং ক্রাইটেরিয়া আপনার টেমপ্লেটে একটি নতুন শর্ত হিসাবে যুক্ত করা হয়, যাতে রোলআউটটি শুধুমাত্র এক্সপেরিমেন্ট দ্বারা টার্গেট করা ব্যবহারকারীদের প্রভাবিত করে। পরিবর্তনগুলো পর্যালোচনা করতে 'রিমোট কনফিগ-এ রিভিউ' ক্লিক করার পর, রোলআউটটি সম্পূর্ণ করতে 'পাবলিশ চেঞ্জেস'-এ ক্লিক করুন।

একটি পরীক্ষা প্রসারিত করুন

যদি আপনি দেখেন যে কোনো একটি পরীক্ষা থেকে সেরাটিকে ঘোষণা করার জন্য A/B Testing উদ্দেশ্যে যথেষ্ট ব্যবহারকারী আসছে না, তাহলে আপনি অ্যাপটির ব্যবহারকারী গোষ্ঠীর একটি বৃহত্তর অংশের কাছে পৌঁছানোর জন্য আপনার পরীক্ষাটির পরিধি বাড়াতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।
3. যে চলমান পরীক্ষাটি আপনি সম্পাদনা করতে চান, সেটি নির্বাচন করুন।
4. এক্সপেরিমেন্ট ওভারভিউ- তে, কনটেক্সট মেনুতে ( more_vert ) ক্লিক করুন এবং তারপরে 'Edit running experiment'-এ ক্লিক করুন।
5. টার্গেটিং ডায়ালগটি চলমান এক্সপেরিমেন্টে থাকা ব্যবহারকারীদের শতাংশ বাড়ানোর একটি অপশন দেখায়। বর্তমান শতাংশের চেয়ে বেশি একটি সংখ্যা নির্বাচন করুন এবং পাবলিশ-এ ক্লিক করুন। আপনার নির্দিষ্ট করা ব্যবহারকারীদের শতাংশের কাছে এক্সপেরিমেন্টটি পৌঁছে দেওয়া হবে।

একটি পরীক্ষা নকল করুন

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।
3. যে চলমান বা সমাপ্ত পরীক্ষাটি আপনি বন্ধ করতে চান, সেটি নির্বাচন করুন।
4. Completed বা Running-এ ক্লিক করুন, আপনার এক্সপেরিমেন্টের উপর পয়েন্টারটি ধরে রাখুন, কনটেক্সট মেনুতে ( more_vert ) ক্লিক করুন, এবং তারপরে Duplicate experiment বা Stop experiment-এ ক্লিক করুন।

একটি পরীক্ষা বন্ধ করুন

1. Firebase কনসোল নেভিগেশন মেনুর DevOps & Engagement বিভাগে, Remote Config ক্লিক করুন।
2. A/B টেস্ট ট্যাবে ক্লিক করুন।
3. যে চলমান বা সমাপ্ত পরীক্ষাটি আপনি বন্ধ করতে চান, সেটি নির্বাচন করুন।
4. Completed বা Running-এ ক্লিক করুন, আপনার এক্সপেরিমেন্টের উপর পয়েন্টারটি ধরে রাখুন, কনটেক্সট মেনুতে ( more_vert ) ক্লিক করুন এবং তারপরে Stop experiment-এ ক্লিক করুন।

ওয়েব ক্লায়েন্ট শনাক্তকরণ এবং পরীক্ষার স্থায়িত্ব

যখন কোনো ব্যবহারকারী প্রথমবারের মতো ব্রাউজারে Firebase A/B Testing ব্যবহার করে একটি ওয়েব অ্যাপ্লিকেশন চালু করেন, তখন একটি অনন্য Firebase ইনস্টলেশন আইডি (FID) তৈরি হয়। সেশন জুড়ে অ্যাপ ইনস্ট্যান্সটিকে শনাক্ত করার জন্য এই FID-টি ব্রাউজারের IndexedDB-তে স্থায়ীভাবে সংরক্ষণ করা হয়।

Firebase A/B Testing ব্যবহারকারীদের এক্সপেরিমেন্ট ভ্যারিয়েন্টে অন্তর্ভুক্ত করতে এফআইডি (FID) ব্যবহার করে, এবং Google Analytics প্রতিটি ভ্যারিয়েন্টের মধ্যে ব্যবহারকারীর আচরণ পরিমাপ ও বিশ্লেষণ করার জন্য ইভেন্ট অ্যাগ্রিগেশনে এটি ব্যবহার করে।

যেহেতু FID ইনডেক্সডডিবি-তে সংরক্ষিত থাকে, তাই Firebase A/B Testing একজন ব্যবহারকারীকে নতুন ব্যবহারকারী হিসেবে গণ্য করে, যদি তিনি ভিন্ন কোনো ব্রাউজার থেকে বা ইনকগনিটো উইন্ডোতে আপনার অ্যাপ অ্যাক্সেস করেন, অথবা যদি তিনি তার ব্রাউজারের ইনডেক্সডডিবি মুছে ফেলেন। এর মানে হলো, ভিন্ন ভিন্ন ব্রাউজার বা ব্রাউজিং সেশন ব্যবহার করার সময় একজন ব্যবহারকারী ভিন্ন ভিন্ন এক্সপেরিমেন্ট ভ্যারিয়েন্টে অন্তর্ভুক্ত হতে পারেন।

ব্যবহারকারী টার্গেটিং

নিম্নলিখিত ব্যবহারকারী-লক্ষ্য নির্ধারণের মানদণ্ড ব্যবহার করে আপনি আপনার পরীক্ষায় অন্তর্ভুক্ত করার জন্য ব্যবহারকারীদের লক্ষ্য করতে পারেন।

Firebase কনসোলে নিম্নলিখিত নিয়মের প্রকারগুলি সমর্থিত। Remote Config REST API-তে সমতুল্য বৈশিষ্ট্যগুলি উপলব্ধ, যেমনটি কন্ডিশনাল এক্সপ্রেশন রেফারেন্সে বিস্তারিতভাবে বর্ণনা করা হয়েছে।

A/B Testing মেট্রিক্স

যখন আপনি আপনার এক্সপেরিমেন্ট তৈরি করেন, তখন আপনি একটি প্রাথমিক বা লক্ষ্য মেট্রিক বেছে নেন, যা বিজয়ী ভ্যারিয়েন্ট নির্ধারণ করতে ব্যবহৃত হয়। প্রতিটি এক্সপেরিমেন্ট ভ্যারিয়েন্টের পারফরম্যান্স আরও ভালোভাবে বুঝতে এবং প্রতিটি ভ্যারিয়েন্টের জন্য ভিন্ন হতে পারে এমন গুরুত্বপূর্ণ ট্রেন্ডগুলো ট্র্যাক করতে আপনার অন্যান্য মেট্রিকগুলোও ট্র্যাক করা উচিত, যেমন ব্যবহারকারী ধরে রাখা, অ্যাপের স্থিতিশীলতা এবং ইন-অ্যাপ পারচেজ থেকে আয়। আপনি আপনার এক্সপেরিমেন্টে সর্বোচ্চ পাঁচটি অ-লক্ষ্য মেট্রিক ট্র্যাক করতে পারেন।

উদাহরণস্বরূপ, ধরুন আপনি আপনার অ্যাপে দুটি ভিন্ন গেম ফ্লো চালু করতে Remote Config ব্যবহার করছেন এবং ইন-অ্যাপ পারচেজ ও বিজ্ঞাপন থেকে আয়ের জন্য অপটিমাইজ করতে চান, কিন্তু একই সাথে প্রতিটি ভ্যারিয়েন্টের স্থিতিশীলতা এবং ইউজার রিটেনশনও ট্র্যাক করতে চান। এই ক্ষেত্রে, আপনি আপনার গোল মেট্রিক হিসেবে ‘Estimated total revenue’ বেছে নেওয়ার কথা ভাবতে পারেন, কারণ এতে ইন-অ্যাপ পারচেজ থেকে আয় এবং বিজ্ঞাপন থেকে আয় অন্তর্ভুক্ত থাকে। এরপর, ‘Other metrics to track’-এর জন্য আপনি নিম্নলিখিত বিষয়গুলো যোগ করতে পারেন:

• আপনার দৈনিক এবং সাপ্তাহিক ব্যবহারকারী ধরে রাখার হার ট্র্যাক করতে, রিটেনশন (২-৩ দিন) এবং রিটেনশন (৪-৭ দিন) যোগ করুন।
• দুটি গেম ফ্লো-এর মধ্যে স্থিতিশীলতা তুলনা করতে, ক্র্যাশ-মুক্ত ব্যবহারকারীদের যুক্ত করুন।
• প্রতিটি রাজস্বের ধরণ সম্পর্কে আরও বিস্তারিত তথ্য দেখতে, 'ক্রয় রাজস্ব' এবং 'আনুমানিক বিজ্ঞাপন রাজস্ব' যোগ করুন।

নিম্নলিখিত সারণিগুলোতে লক্ষ্যমাত্রা মেট্রিক এবং অন্যান্য মেট্রিকগুলো কীভাবে গণনা করা হয়, সে সম্পর্কে বিস্তারিত তথ্য দেওয়া হয়েছে।

লক্ষ্য মেট্রিক্স

অন্যান্য মেট্রিক

BigQuery ডেটা রপ্তানি

Firebase কনসোলে A/B Testing এক্সপেরিমেন্টের ডেটা দেখার পাশাপাশি, আপনি BigQuery তেও এক্সপেরিমেন্টের ডেটা পরিদর্শন ও বিশ্লেষণ করতে পারেন। যদিও A/B Testing কোনো আলাদা BigQuery টেবিল নেই, এক্সপেরিমেন্ট এবং ভ্যারিয়েন্ট মেম্বারশিপগুলো প্রতিটি Google Analytics ইভেন্টের সাথে Analytics ইভেন্ট টেবিলের মধ্যেই সংরক্ষিত থাকে।

যেসব ইউজার প্রপার্টিতে এক্সপেরিমেন্টের তথ্য থাকে, সেগুলো userProperty.key like "firebase_exp_%" অথবা userProperty.key = "firebase_exp_01" এই ধরনের হয়ে থাকে, যেখানে 01 হলো এক্সপেরিমেন্ট আইডি এবং userProperty.value.string_value এক্সপেরিমেন্ট ভ্যারিয়েন্টের (শূন্য-ভিত্তিক) ইনডেক্স থাকে।

আপনি এই এক্সপেরিমেন্ট ইউজার প্রপার্টিগুলো ব্যবহার করে এক্সপেরিমেন্টের ডেটা এক্সট্র্যাক্ট করতে পারেন। এটি আপনাকে আপনার এক্সপেরিমেন্টের ফলাফলকে বিভিন্ন উপায়ে বিশ্লেষণ করার এবং A/B Testing এর ফলাফল স্বাধীনভাবে যাচাই করার ক্ষমতা দেয়।

শুরু করার জন্য, এই নির্দেশিকায় বর্ণিত অনুযায়ী নিম্নলিখিতগুলি সম্পূর্ণ করুন:

1. Firebase কনসোলে Google Analytics জন্য BigQuery এক্সপোর্ট সক্রিয় করুন।
2. BigQuery ব্যবহার করে A/B Testing ডেটা অ্যাক্সেস করুন
3. উদাহরণ কোয়েরিগুলি অন্বেষণ করুন

Firebase কনসোলে Google Analytics জন্য BigQuery এক্সপোর্ট সক্রিয় করুন।

আপনি যদি Spark প্ল্যানে থাকেন, তাহলে Sandbox-এর সীমাবদ্ধতা সাপেক্ষে কোনো খরচ ছাড়াই BigQuery অ্যাক্সেস করতে BigQuery স্যান্ডবক্স ব্যবহার করতে পারবেন। আরও তথ্যের জন্য মূল্য নির্ধারণ এবং BigQuery স্যান্ডবক্স দেখুন।

প্রথমে, নিশ্চিত করুন যে আপনি আপনার Analytics ডেটা BigQuery তে এক্সপোর্ট করছেন।

1. Firebase কনসোলে, এখানে যান settings > ইন্টিগ্রেশন ট্যাব ।

2. BigQuery কার্ডে, Manage-এ ক্লিক করুন এবং যাচাই করুন যে আপনার প্রজেক্টটি BigQuery তে Analytics ডেটা এক্সপোর্ট করছে।

   যদি কার্ডটিতে ‘লিঙ্ক’ লেখা থাকে, তাহলে আপনাকে এক্সপোর্ট সেট আপ করতে হবে (পরবর্তী ধাপে যান)।

3. যদি আপনার রপ্তানি সেট আপ করার প্রয়োজন হয়:

   1. Firebase-কে BigQuery এর সাথে লিঙ্ক করার বিষয়ে পর্যালোচনা করুন, তারপর Next-এ ক্লিক করুন।

   2. ইন্টিগ্রেশন কনফিগার করুন বিভাগে Google Analytics সক্রিয় করুন।

   3. একটি অঞ্চল নির্বাচন করুন এবং রপ্তানি সেটিংস বেছে নিন।

   4. BigQuery তে যেতে লিঙ্কে ক্লিক করুন।

আপনি কীভাবে ডেটা এক্সপোর্ট করেছেন তার উপর নির্ভর করে, টেবিলগুলো উপলব্ধ হতে একদিন পর্যন্ত সময় লাগতে পারে। BigQuery তে প্রোজেক্ট ডেটা এক্সপোর্ট করার বিষয়ে আরও তথ্যের জন্য, BigQuery তে প্রোজেক্ট ডেটা এক্সপোর্ট করুন" দেখুন।

BigQuery তে A/B Testing ডেটা অ্যাক্সেস করুন

কোনো নির্দিষ্ট পরীক্ষার ডেটার জন্য কোয়েরি করার আগে, আপনার কোয়েরিতে ব্যবহারের জন্য নিম্নলিখিতগুলির কয়েকটি বা সবগুলি সংগ্রহ করতে হবে:

• এক্সপেরিমেন্ট আইডি: আপনি এক্সপেরিমেন্ট ওভারভিউ পেজের URL থেকে এটি পেতে পারেন। উদাহরণস্বরূপ, যদি আপনার URL দেখতে https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 এর মতো হয়, তাহলে এক্সপেরিমেন্ট আইডি হবে 25 ।
• Google Analytics প্রপার্টি আইডি : এটি আপনার ৯-সংখ্যার Google Analytics প্রপার্টি আইডি। আপনি এটি Google Analytics মধ্যেই খুঁজে পাবেন; এছাড়াও, BigQuery তে (BigQuery) আপনার প্রোজেক্টের নামটি এক্সপ্যান্ড করলে আপনার Google Analytics ইভেন্ট টেবিলের নামটি ( project_name.analytics_000000000.events ) দেখা যায়।
• Experiment date: To compose a faster and more efficient query, it's good practice to limit your queries to the Google Analytics daily event table partitions that contain your experiment data—tables identified with a YYYYMMDD suffix. So, if your experiment ran from February 2, 2024 through May 2, 2024, you'd specify a _TABLE_SUFFIX between '20240202' AND '20240502' . For an example, see Select a specific experiment's values .
• Event names: Typically, these correspond with your goal metrics that you configured in the experiment. For example, in_app_purchase events, ad_impression , or user_retention events.

After you gather the information you need to generate your query:

1. In the Google Cloud console, go to BigQuery .
2. Select your project, then select Create SQL query .
3. Add your query. For example queries to run, see Explore example queries .
4. রান-এ ক্লিক করুন।

Query experiment data using the Firebase console's auto-generated query

If you're using the Blaze plan, the Experiment overview page provides a sample query that returns the experiment name, variants, event names, and the number of events for the experiment you're viewing.

To obtain and run the auto-generated query:

1. In the Firebase console, go to DevOps & Engagement > A/B Testing .
2. Select the A/B Testing experiment you want to query to open the Experiment overview .
3. From the Options menu, beneath BigQuery integration , select Query experiment data . This opens your project in BigQuery within the Google Cloud console console and provides a basic query you can use to query your experiment data.

The following example shows a generated query for an experiment with three variants (including the baseline) named "Winter welcome experiment." It returns the active experiment name, variant name, unique event, and event count for each event. Note that the query builder doesn't specify your project name in the table name, as it opens directly within your project.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName