ফায়ারবেস এ/বি পরীক্ষা সম্পর্কে

আপনার পরীক্ষার ফলাফলের প্রাসঙ্গিকতা এবং উপযোগিতা বাড়াতে সাহায্য করার জন্য, এই পৃষ্ঠাটি কীভাবে Firebase A/B Testing কাজ করে সে সম্পর্কে বিস্তারিত তথ্য প্রদান করে।

নমুনা আকার

Firebase A/B Testing ইনফারেন্সের জন্য একটি পরীক্ষা শুরু করার আগে ন্যূনতম নমুনার আকার সনাক্তকরণের প্রয়োজন হয় না। সাধারণভাবে, আপনার সবচেয়ে বড় এক্সপোজার লেভেল বাছাই করা উচিত যা আপনি স্বাচ্ছন্দ্য বোধ করেন। বড় নমুনার মাপ পরিসংখ্যানগতভাবে উল্লেখযোগ্য ফলাফল খুঁজে পাওয়ার সম্ভাবনা বাড়ায়, বিশেষ করে যখন ভেরিয়েন্টের মধ্যে পারফরম্যান্সের পার্থক্য ছোট হয়। আপনার পরীক্ষার বৈশিষ্ট্যের উপর ভিত্তি করে প্রস্তাবিত নমুনা আকার খুঁজে পেতে একটি অনলাইন নমুনা আকার ক্যালকুলেটরের সাথে পরামর্শ করা আপনার পক্ষে কার্যকর হতে পারে।

পরীক্ষা সম্পাদনা করুন

আপনি চলমান পরীক্ষার নির্বাচিত পরামিতি সম্পাদনা করতে পারেন, যার মধ্যে রয়েছে:

• পরীক্ষার নাম
• বর্ণনা
• টার্গেটিং শর্ত
• বৈকল্পিক মান

একটি পরীক্ষা সম্পাদনা করতে:

1. আপনি যে পরীক্ষাটি পরিবর্তন করতে চান তার ফলাফল পৃষ্ঠাটি খুলুন।
2. More more_vert মেনু থেকে, চলমান পরীক্ষা সম্পাদনা নির্বাচন করুন।
3. আপনার পরিবর্তনগুলি করুন, তারপর প্রকাশ করুন ক্লিক করুন৷

মনে রাখবেন যে চলমান পরীক্ষার সময় অ্যাপের আচরণ পরিবর্তন করা ফলাফলকে প্রভাবিত করতে পারে।

দূরবর্তী কনফিগার বৈকল্পিক অ্যাসাইনমেন্ট যুক্তি

যে ব্যবহারকারীরা সমস্ত পরীক্ষার লক্ষ্যমাত্রা শর্তের সাথে মেলে (শতাংশ এক্সপোজার শর্ত সহ) তাদের বৈকল্পিক ওজন এবং এক্সপেরিমেন্ট আইডির একটি হ্যাশ এবং ব্যবহারকারীর Firebase ইনস্টলেশন আইডি অনুযায়ী পরীক্ষার ভেরিয়েন্টে বরাদ্দ করা হয়।

Google Analytics অডিয়েন্সগুলি লেটেন্সি সাপেক্ষে এবং যখন কোনও ব্যবহারকারী প্রাথমিকভাবে দর্শকের মানদণ্ড পূরণ করে তখন তা অবিলম্বে উপলব্ধ হয় না:

• আপনি যখন একটি নতুন শ্রোতা তৈরি করেন, তখন নতুন ব্যবহারকারী সংগ্রহ করতে 24-48 ঘন্টা সময় লাগতে পারে৷
• নতুন ব্যবহারকারীরা যোগ্য হওয়ার 24-48 ঘন্টা পরে যোগ্য দর্শকদের মধ্যে নথিভুক্ত হয়।

সময়-সংবেদনশীল টার্গেটিংয়ের জন্য, Google Analytics ব্যবহারকারীর বৈশিষ্ট্য বা অন্তর্নির্মিত টার্গেটিং বিকল্পগুলি যেমন দেশ বা অঞ্চল, ভাষা এবং অ্যাপ সংস্করণের ব্যবহার বিবেচনা করুন।

একবার একজন ব্যবহারকারী একটি পরীক্ষায় প্রবেশ করলে, তারা ক্রমাগতভাবে তাদের পরীক্ষার ভেরিয়েন্টে বরাদ্দ করা হয় এবং যতক্ষণ পরীক্ষা সক্রিয় থাকে ততক্ষণ পরীক্ষা থেকে প্যারামিটার মানগুলি গ্রহণ করে, এমনকি যদি তাদের ব্যবহারকারীর বৈশিষ্ট্যগুলি পরিবর্তিত হয় এবং তারা আর পরীক্ষার লক্ষ্যমাত্রার মানদণ্ড পূরণ না করে।

সক্রিয়করণ ইভেন্ট

এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্টগুলি অ্যাক্টিভেশন ইভেন্ট ট্রিগার করে এমন অ্যাপ ব্যবহারকারীদের জন্য পরীক্ষা পরিমাপ সীমিত করে। এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্ট অ্যাপের দ্বারা আনা পরীক্ষার পরামিতিগুলির উপর কোন প্রভাব ফেলে না; সকল ব্যবহারকারী যারা পরীক্ষার লক্ষ্যমাত্রার মানদণ্ড পূরণ করে তারা পরীক্ষার পরামিতি পাবে। ফলস্বরূপ, একটি অ্যাক্টিভেশন ইভেন্ট বেছে নেওয়া গুরুত্বপূর্ণ যা পরীক্ষার পরামিতিগুলি আনা এবং সক্রিয় করার পরে ঘটে, কিন্তু পরীক্ষার পরামিতিগুলি অ্যাপের আচরণ পরিবর্তন করতে ব্যবহার করার আগে।

বৈকল্পিক ওজন

পরীক্ষা তৈরির সময়, পরীক্ষামূলক ব্যবহারকারীদের একটি বৃহত্তর শতাংশকে একটি ভেরিয়েন্টে স্থাপন করতে ডিফল্ট বৈকল্পিক ওজন পরিবর্তন করা সম্ভব।

পরীক্ষার ফলাফল ব্যাখ্যা করুন

Firebase A/B Testing ফ্রিকোয়েন্টিস্ট ইনফারেন্স ব্যবহার করে আপনাকে বুঝতে সাহায্য করে যে আপনার পরীক্ষার ফলাফল শুধুমাত্র এলোমেলো সুযোগের কারণে ঘটতে পারে। এই সম্ভাবনা একটি সম্ভাব্যতা মান , বা p-মান দ্বারা প্রতিনিধিত্ব করা হয়। পি-মান হল সম্ভাব্যতা যে দুটি ভেরিয়েন্টের মধ্যে পারফরম্যান্সের পার্থক্য র্যান্ডম সুযোগের কারণে ঘটতে পারে, 0 এবং 1 এর মধ্যে একটি মান দ্বারা পরিমাপ করা হয়। A/B Testing 0.05 এর একটি তাৎপর্য স্তর ব্যবহার করে যাতে:

• 0.05-এর চেয়ে কম একটি p-মান ভেরিয়েন্টের মধ্যে একটি পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য নির্দেশ করে, যার অর্থ এটি এলোমেলো সুযোগ দ্বারা ঘটেছে বলে মনে হয় না।
• 0.05-এর চেয়ে বড় একটি p-মান নির্দেশ করে যে বৈকল্পিকগুলির মধ্যে পার্থক্য পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ নয়।

পরীক্ষার ডেটা দিনে একবার রিফ্রেশ করা হয়, এবং শেষ আপডেটের সময় পরীক্ষার ফলাফলের পৃষ্ঠার উপরে প্রদর্শিত হয়।

পরীক্ষার ফলাফলের গ্রাফটি নির্বাচিত মেট্রিকের ক্রমবর্ধমান গড় মান প্রদর্শন করে। উদাহরণস্বরূপ, যদি আপনি একটি মেট্রিক হিসাবে ব্যবহারকারী পিছু বিজ্ঞাপনের আয় ট্র্যাক করেন তবে এটি ব্যবহারকারী প্রতি পর্যবেক্ষণ করা আয় প্রদর্শন করে এবং আপনি যদি ক্র্যাশ-মুক্ত ব্যবহারকারীদের ট্র্যাক করেন তবে এটি ক্র্যাশের সম্মুখীন হয়নি এমন ব্যবহারকারীদের শতাংশ ট্র্যাক করে। এই ডেটা পরীক্ষার শুরু থেকে ক্রমবর্ধমান।

ফলাফলগুলি পর্যবেক্ষিত ডেটা এবং অনুমান ডেটাতে বিভক্ত। পর্যবেক্ষিত ডেটা Google Analytics ডেটা থেকে সরাসরি গণনা করা হয়, এবং অনুমান ডেটা p-মান এবং আস্থার ব্যবধান প্রদান করে যা আপনাকে পর্যবেক্ষণ করা ডেটার পরিসংখ্যানগত তাত্পর্য মূল্যায়ন করতে সহায়তা করে।

প্রতিটি মেট্রিকের জন্য, নিম্নলিখিত পরিসংখ্যানগুলি প্রদর্শিত হয়:

পর্যবেক্ষণ করা তথ্য

• ট্র্যাক করা মেট্রিকের মোট মান (রক্ষিত ব্যবহারকারীর সংখ্যা, ক্র্যাশ হওয়া ব্যবহারকারীর সংখ্যা, মোট আয়)
• মেট্রিক-নির্দিষ্ট হার (ধারণ হার, রূপান্তর হার, ব্যবহারকারী প্রতি আয়)
• ভেরিয়েন্ট এবং বেসলাইনের মধ্যে শতাংশ পার্থক্য (লিফট)

অনুমান ডেটা

• 95% CI (মাধ্যমে পার্থক্য) একটি ব্যবধান প্রদর্শন করে যাতে 95% আত্মবিশ্বাসের সাথে ট্র্যাক করা মেট্রিকের "সত্য" মান থাকে। উদাহরণস্বরূপ, যদি আপনার পরীক্ষার ফলাফল $5 এবং $10 এর মধ্যে আনুমানিক মোট আয়ের জন্য 95% CI হয়, তাহলে 95% সম্ভাবনা রয়েছে যে অর্থের প্রকৃত পার্থক্য $5 এবং $10 এর মধ্যে। যদি CI পরিসরে 0 থাকে, তবে বৈকল্পিক এবং বেসলাইনের মধ্যে একটি পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য সনাক্ত করা যায়নি।

  আস্থার ব্যবধানের মানগুলি ট্র্যাক করা মেট্রিকের সাথে মেলে এমন বিন্যাসে উপস্থিত হয়৷ উদাহরণ স্বরূপ, ব্যবহারকারী ধরে রাখার জন্য সময় ( HH:MM:SS ), ব্যবহারকারী প্রতি বিজ্ঞাপন আয়ের জন্য USD এবং রূপান্তর হারের শতাংশ।

• P-মান , যা সম্ভাব্যতার প্রতিনিধিত্ব করে যে বৈকল্পিক এবং বেসলাইনের মধ্যে কোন সত্য পার্থক্য নেই; অন্য কথায়, র‍্যান্ডম সুযোগের কারণে কোনো পর্যবেক্ষণ করা পার্থক্য সম্ভবত। পি-মান যত কম হবে, পর্যবেক্ষিত কর্মক্ষমতা ভবিষ্যতে সত্য থাকবে তার আত্মবিশ্বাস তত বেশি। 0.05 বা তার কম মান একটি উল্লেখযোগ্য পার্থক্য নির্দেশ করে এবং সম্ভাবনার কারণে ফলাফলের সম্ভাবনা কম। P-মানগুলি একটি এক-টেইল্ড পরীক্ষার উপর ভিত্তি করে, যেখানে বৈকল্পিক মান বেসলাইন মানের থেকে বেশি। ফায়ারবেস ক্রমাগত ভেরিয়েবলের (সংখ্যাসূচক মান, যেমন রাজস্ব) এবং রূপান্তর ডেটার জন্য অনুপাতের একটি z-পরীক্ষা (ব্যবহারকারী ধারণ, ক্র্যাশ-মুক্ত ব্যবহারকারী, ব্যবহারকারী যারা Google Analytics ইভেন্ট ট্রিগার করে) এর জন্য একটি অসম বৈচিত্র্য টি-পরীক্ষা ব্যবহার করে।

পরীক্ষার ফলাফল প্রতিটি পরীক্ষার বৈকল্পিকের জন্য গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করে, যার মধ্যে রয়েছে:

• প্রতিটি পরীক্ষার মেট্রিক কতটা উচ্চ বা কম বেসলাইনের সাথে তুলনা করা হয়, যেমন সরাসরি পরিমাপ করা হয় (অর্থাৎ, প্রকৃত পর্যবেক্ষিত ডেটা)
• সম্ভাব্যতা যে বৈকল্পিক এবং বেসলাইনের মধ্যে পর্যবেক্ষণ করা পার্থক্যটি এলোমেলো সুযোগের কারণে ঘটতে পারে (p-মান)
• একটি পরিসর যা প্রতিটি পরীক্ষার মেট্রিকের জন্য বৈকল্পিক এবং বেসলাইনের মধ্যে "সত্য" পারফরম্যান্সের পার্থক্য ধারণ করতে পারে---"সেরা কেস" এবং "সবচেয়ে খারাপ কেস" পারফরম্যান্স পরিস্থিতি বোঝার একটি উপায়

Google অপ্টিমাইজ দ্বারা চালিত পরীক্ষার ফলাফল ব্যাখ্যা করুন

23 অক্টোবর, 2023 এর আগে শুরু হওয়া পরীক্ষাগুলির জন্য Firebase A/B Testing ফলাফলগুলি Google অপ্টিমাইজ দ্বারা চালিত হয়েছিল। Google অপ্টিমাইজ আপনার পরীক্ষার ডেটা থেকে অন্তর্দৃষ্টিপূর্ণ পরিসংখ্যান তৈরি করতে Bayesian অনুমান ব্যবহার করেছে৷

ফলাফল "পর্যবেক্ষিত ডেটা" এবং "মডেল করা ডেটা" এ বিভক্ত। পর্যবেক্ষিত ডেটা সরাসরি বিশ্লেষণ ডেটা থেকে গণনা করা হয়েছিল এবং মডেল করা ডেটা আমাদের বায়েসিয়ান মডেলের প্রয়োগ থেকে পর্যবেক্ষিত ডেটাতে নেওয়া হয়েছিল।

প্রতিটি মেট্রিকের জন্য, নিম্নলিখিত পরিসংখ্যানগুলি প্রদর্শিত হয়:

পর্যবেক্ষণ করা তথ্য

• মোট মান (ভেরিয়েন্টের সমস্ত ব্যবহারকারীর জন্য মেট্রিকের যোগফল)
• গড় মান (ভেরিয়েন্টের ব্যবহারকারীদের জন্য মেট্রিকের গড় মান)
• বেসলাইন থেকে % পার্থক্য

মডেল করা ডেটা

• বেসলাইনকে হারানোর সম্ভাবনা: বেসলাইনের তুলনায় এই বৈকল্পিকটির জন্য মেট্রিক বেশি হওয়ার সম্ভাবনা কতটা
• বেসলাইন থেকে শতাংশ পার্থক্য: বৈকল্পিক এবং বেসলাইনের জন্য মেট্রিকের মধ্যম মডেল অনুমানের উপর ভিত্তি করে
• মেট্রিক ব্যাপ্তি: 50% এবং 95% নিশ্চিততার সাথে মেট্রিকের মান সবচেয়ে বেশি পাওয়া যায় এমন ব্যাপ্তি

সামগ্রিকভাবে, পরীক্ষার ফলাফল আমাদের পরীক্ষায় প্রতিটি বৈকল্পিকের জন্য তিনটি গুরুত্বপূর্ণ অন্তর্দৃষ্টি দেয়:

1. বেসলাইনের সাথে প্রতিটি পরীক্ষার মেট্রিক কত বেশি বা কম, সরাসরি পরিমাপ করা হয়েছে (অর্থাৎ, প্রকৃত পর্যবেক্ষণ করা ডেটা)
2. বেসিয়ান ইনফারেন্সের উপর ভিত্তি করে প্রতিটি পরীক্ষার মেট্রিক বেসলাইন / সর্বোত্তম সামগ্রিকের চেয়ে কতটা বেশি হওয়ার সম্ভাবনা (যথাক্রমে ভাল / সেরা হওয়ার সম্ভাবনা)
3. Bayesian অনুমানের উপর ভিত্তি করে প্রতিটি পরীক্ষার মেট্রিকের জন্য যুক্তিসঙ্গত ব্যাপ্তি - "সেরা কেস" এবং "সবচেয়ে খারাপ" পরিস্থিতি (বিশ্বাসযোগ্য ব্যবধান)

নেতার সংকল্প

ফ্রিকোয়েন্টিস্ট ইনফারেন্স ব্যবহার করে পরীক্ষা-নিরীক্ষার জন্য, ফায়ারবেস ঘোষণা করে যে একটি বৈকল্পিক অগ্রগামী হয় যদি লক্ষ্য মেট্রিকের ভেরিয়েন্ট এবং বেসলাইনের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য কর্মক্ষমতা পার্থক্য থাকে। যদি একাধিক বৈকল্পিক এই মানদণ্ড পূরণ করে, সর্বনিম্ন p-মান সহ বৈকল্পিকটি বেছে নেওয়া হয়।

Google অপ্টিমাইজ ব্যবহার করা পরীক্ষাগুলির জন্য, ফায়ারবেস ঘোষণা করেছে যে একটি বৈকল্পিক একটি "ক্লিয়ার লিডার" যদি প্রাথমিক মেট্রিকের বেসলাইন ভেরিয়েন্টের চেয়ে ভাল হওয়ার সম্ভাবনা 95% এর বেশি থাকে। যদি একাধিক ভেরিয়েন্ট "ক্লিয়ার লিডার" মানদণ্ড পূরণ করে, শুধুমাত্র সর্বোত্তম পারফরম্যান্সকারী বৈকল্পিকটিকে "ক্লিয়ার লিডার" হিসাবে লেবেল করা হয়েছিল।

যেহেতু লিডার নির্ধারণ শুধুমাত্র প্রাথমিক লক্ষ্যের উপর ভিত্তি করে, তাই আপনার উচিত সমস্ত প্রাসঙ্গিক বিষয় বিবেচনা করা এবং একটি অগ্রণী বৈকল্পিক রোল আউট করা বা না করার সিদ্ধান্ত নেওয়ার আগে সেকেন্ডারি মেট্রিক্সের ফলাফল পর্যালোচনা করা উচিত। আপনি পরিবর্তন করার প্রত্যাশিত ঊর্ধ্বগতি, নেতিবাচক ঝুঁকি (যেমন উন্নতির জন্য আত্মবিশ্বাসের ব্যবধানের নিম্ন প্রান্ত) এবং প্রাথমিক লক্ষ্য ব্যতীত মেট্রিক্সের উপর প্রভাব বিবেচনা করতে চাইতে পারেন।

উদাহরণস্বরূপ, যদি আপনার প্রাথমিক মেট্রিক ক্র্যাশ-মুক্ত ব্যবহারকারী হয় এবং ভেরিয়েন্ট A বেসলাইনের উপরে একটি স্পষ্ট লিডার, কিন্তু ভেরিয়েন্ট A ব্যবহারকারীর ধরে রাখার মেট্রিক্স বেসলাইন ব্যবহারকারী ধরে রাখার জন্য, আপনি ভেরিয়েন্ট A আরও ব্যাপকভাবে রোলআউট করার আগে আরও তদন্ত করতে চাইতে পারেন।

প্রাথমিক এবং মাধ্যমিক উভয় মেট্রিক জুড়ে আপনার কর্মক্ষমতার সামগ্রিক মূল্যায়নের উপর ভিত্তি করে আপনি যেকোন বৈকল্পিক রোল আউট করতে পারেন, শুধুমাত্র একটি অগ্রণী বৈকল্পিক নয়।

পরীক্ষার সময়কাল

Firebase সুপারিশ করে যে নিম্নলিখিত শর্তগুলি পূরণ না হওয়া পর্যন্ত একটি পরীক্ষা চালিয়ে যেতে হবে:

1. পরীক্ষাটি একটি দরকারী ফলাফল প্রদান করার জন্য যথেষ্ট ডেটা সংগ্রহ করেছে৷ পরীক্ষা এবং ফলাফলের ডেটা প্রতিদিন একবার আপডেট করা হয়। আপনার পরীক্ষার প্রস্তাবিত নমুনার আকার মূল্যায়ন করতে আপনি একটি অনলাইন নমুনা আকার ক্যালকুলেটরের সাথে পরামর্শ করতে পারেন।
2. আপনার ব্যবহারকারীদের প্রতিনিধিত্বমূলক নমুনা নিশ্চিত করতে এবং দীর্ঘমেয়াদী কর্মক্ষমতা পরিমাপ করতে পরীক্ষাটি যথেষ্ট দীর্ঘ হয়েছে। একটি সাধারণ রিমোট কনফিগারেশন পরীক্ষার জন্য দুই সপ্তাহ হল প্রস্তাবিত ন্যূনতম রানটাইম।

পরীক্ষা শুরু হওয়ার পরে সর্বাধিক 90 দিনের জন্য পরীক্ষার ডেটা প্রক্রিয়া করা হয়। 90 দিন পর, পরীক্ষা স্বয়ংক্রিয়ভাবে বন্ধ হয়ে যায়। পরীক্ষার ফলাফলগুলি Firebase কনসোলে আর আপডেট করা হয় না এবং পরীক্ষাটি পরীক্ষা-নির্দিষ্ট প্যারামিটার মান পাঠানো বন্ধ করে দেয়। এই মুহুর্তে, ক্লায়েন্টরা Remote Config টেমপ্লেটে সেট করা শর্তের উপর ভিত্তি করে প্যারামিটার মান আনতে শুরু করে। আপনি পরীক্ষা মুছে না দেওয়া পর্যন্ত ঐতিহাসিক পরীক্ষার ডেটা রাখা হয়।

BigQuery স্কিমা

Firebase কনসোলে A/B Testing পরীক্ষার ডেটা দেখার পাশাপাশি, আপনি BigQuery এ পরীক্ষার ডেটা পরিদর্শন ও বিশ্লেষণ করতে পারেন। যদিও A/B Testing আলাদা BigQuery টেবিল নেই, পরীক্ষা এবং ভেরিয়েন্ট মেম্বারশিপ Analytics ইভেন্ট টেবিলের মধ্যে প্রতিটি Google Analytics ইভেন্টে সংরক্ষণ করা হয়।

যে ব্যবহারকারীর বৈশিষ্ট্যগুলিতে পরীক্ষার তথ্য রয়েছে সেগুলি হল userProperty.key like "firebase_exp_%" বা userProperty.key = "firebase_exp_01" যেখানে 01 হল পরীক্ষার আইডি, এবং userProperty.value.string_value এর (শূন্য-ভিত্তিক) সূচক রয়েছে পরীক্ষার বৈকল্পিক।

আপনি পরীক্ষার ডেটা বের করতে এই এক্সপেরিমেন্ট ব্যবহারকারীর বৈশিষ্ট্যগুলি ব্যবহার করতে পারেন। এটি আপনাকে আপনার পরীক্ষার ফলাফলগুলিকে বিভিন্ন উপায়ে টুকরো টুকরো করার ক্ষমতা দেয় এবং A/B Testing ফলাফলগুলি স্বাধীনভাবে যাচাই করে।

শুরু করতে, এই নির্দেশিকায় বর্ণিত নিম্নলিখিতগুলি সম্পূর্ণ করুন:

1. Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট চালু করুন
2. BigQuery ব্যবহার করে A/B Testing ডেটা অ্যাক্সেস করুন
3. উদাহরণ প্রশ্ন অন্বেষণ

Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট চালু করুন

আপনি যদি স্পার্ক প্ল্যানে থাকেন, তাহলে আপনি স্যান্ডবক্স সীমা সাপেক্ষে বিনা খরচে BigQuery অ্যাক্সেস করতে BigQuery স্যান্ডবক্স ব্যবহার করতে পারেন। আরও তথ্যের জন্য মূল্য নির্ধারণ এবং BigQuery স্যান্ডবক্স দেখুন।

প্রথমে নিশ্চিত করুন যে আপনি আপনার Analytics ডেটা BigQuery এ এক্সপোর্ট করছেন:

1. ইন্টিগ্রেশন ট্যাবটি খুলুন, যা আপনি Firebase কনসোলে settings > প্রকল্প সেটিংস ব্যবহার করে অ্যাক্সেস করতে পারবেন।
2. আপনি যদি ইতিমধ্যেই অন্যান্য ফায়ারবেস পরিষেবাগুলির সাথে BigQuery ব্যবহার করে থাকেন তবে পরিচালনা ক্লিক করুন৷ অন্যথায়, লিঙ্কে ক্লিক করুন।
3. BigQuery এর সাথে Firebase লিঙ্ক করার বিষয়ে পর্যালোচনা করুন, তারপর Next এ ক্লিক করুন।
4. কনফিগার ইন্টিগ্রেশন বিভাগে, Google Analytics টগল সক্ষম করুন।

5. একটি অঞ্চল নির্বাচন করুন এবং রপ্তানি সেটিংস চয়ন করুন।

6. BigQuery এর লিঙ্কে ক্লিক করুন।

আপনি কীভাবে ডেটা রপ্তানি করতে বেছে নিয়েছেন তার উপর নির্ভর করে, টেবিলগুলি উপলব্ধ হতে এক দিন পর্যন্ত সময় লাগতে পারে। BigQuery এ প্রকল্পের ডেটা রপ্তানি করার বিষয়ে আরও তথ্যের জন্য, BigQuery এ প্রকল্পের ডেটা রপ্তানি করুন দেখুন।

BigQuery এ A/B Testing ডেটা অ্যাক্সেস করুন

একটি নির্দিষ্ট পরীক্ষার জন্য ডেটার জন্য ক্যোয়ারী করার আগে, আপনি আপনার ক্যোয়ারীতে ব্যবহার করার জন্য নিম্নলিখিত কিছু বা সবগুলি পেতে চাইবেন:

• পরীক্ষা আইডি: আপনি পরীক্ষা ওভারভিউ পৃষ্ঠার URL থেকে এটি পেতে পারেন। উদাহরণস্বরূপ, যদি আপনার URLটি https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 এর মতো দেখায়, তাহলে পরীক্ষার ID হল 25 ।
• Google Analytics প্রপার্টি ID : এটি আপনার 9-সংখ্যার Google Analytics প্রপার্টি আইডি। আপনি Google Analytics মধ্যে এটি খুঁজে পেতে পারেন; আপনি যখন আপনার Google Analytics ইভেন্ট টেবিলের নাম ( project_name.analytics_000000000.events ) দেখানোর জন্য আপনার প্রকল্পের নাম প্রসারিত করেন তখন এটি BigQuery এও দেখা যায়।
• পরীক্ষার তারিখ: একটি দ্রুত এবং আরও দক্ষ ক্যোয়ারী রচনা করতে, আপনার প্রশ্নগুলিকে Google Analytics দৈনিক ইভেন্ট টেবিল পার্টিশনগুলিতে সীমাবদ্ধ করা ভাল অভ্যাস যা আপনার পরীক্ষার ডেটা রয়েছে—একটি YYYYMMDD প্রত্যয় দ্বারা চিহ্নিত টেবিলগুলি৷ সুতরাং, যদি আপনার পরীক্ষা 2 ফেব্রুয়ারি, 2024 থেকে 2 মে, 2024 পর্যন্ত চলে, তাহলে আপনি _TABLE_SUFFIX between '20240202' AND '20240502' উল্লেখ করবেন। একটি উদাহরণের জন্য, একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন দেখুন।
• ইভেন্টের নাম: সাধারণত, এগুলি আপনার লক্ষ্য মেট্রিক্সের সাথে মিলে যায় যা আপনি পরীক্ষায় কনফিগার করেছেন। উদাহরণস্বরূপ, in_app_purchase ইভেন্ট, ad_impression বা user_retention ইভেন্ট।

আপনি তথ্য সংগ্রহ করার পরে আপনার ক্যোয়ারী তৈরি করতে হবে:

1. Google Cloud কনসোলে BigQuery খুলুন।
2. আপনার প্রকল্প নির্বাচন করুন, তারপরে এসকিউএল কোয়েরি তৈরি করুন নির্বাচন করুন।
3. আপনার প্রশ্ন যোগ করুন. চালানোর জন্য উদাহরণের প্রশ্নগুলির জন্য, উদাহরণের অনুসন্ধানগুলি দেখুন।
4. রান এ ক্লিক করুন।

ফায়ারবেস কনসোলের স্বয়ংক্রিয়-উত্পন্ন ক্যোয়ারী ব্যবহার করে পরীক্ষার ডেটা জিজ্ঞাসা করুন

আপনি যদি ব্লেজ প্ল্যান ব্যবহার করেন, পরীক্ষা ওভারভিউ পৃষ্ঠাটি একটি নমুনা কোয়েরি প্রদান করে যা পরীক্ষার নাম, রূপ, ইভেন্টের নাম এবং আপনি যে পরীক্ষাটি দেখছেন তার ইভেন্টের সংখ্যা প্রদান করে।

স্বয়ংক্রিয়ভাবে জেনারেটেড ক্যোয়ারী পেতে এবং চালাতে:

1. Firebase কনসোল থেকে, A/B Testing খুলুন এবং পরীক্ষা ওভারভিউ খুলতে আপনি যে A/B Testing পরীক্ষা করতে চান তা নির্বাচন করুন।
2. বিকল্প মেনু থেকে, BigQuery ইন্টিগ্রেশনের নীচে, কোয়েরি পরীক্ষার ডেটা নির্বাচন করুন। এটি Google Cloud কনসোল কনসোলের মধ্যে BigQuery এ আপনার প্রোজেক্ট খোলে এবং একটি মৌলিক কোয়েরি প্রদান করে যা আপনি আপনার পরীক্ষার ডেটা জিজ্ঞাসা করতে ব্যবহার করতে পারেন।

নিম্নলিখিত উদাহরণটি "শীতকালীন স্বাগত পরীক্ষা" নামে তিনটি রূপের (বেসলাইন সহ) একটি পরীক্ষার জন্য একটি জেনারেট করা প্রশ্ন দেখায়৷ এটি প্রতিটি ইভেন্টের জন্য সক্রিয় পরীক্ষার নাম, বৈকল্পিক নাম, অনন্য ইভেন্ট এবং ইভেন্ট গণনা প্রদান করে। মনে রাখবেন যে ক্যোয়ারী নির্মাতা টেবিলের নামে আপনার প্রকল্পের নাম নির্দিষ্ট করে না, কারণ এটি সরাসরি আপনার প্রকল্পের মধ্যে খোলে।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

অতিরিক্ত ক্যোয়ারী উদাহরণের জন্য, এক্সপ্লোর নমুনা প্রশ্নে এগিয়ে যান।

উদাহরণ প্রশ্ন অন্বেষণ

নিম্নলিখিত বিভাগগুলি আপনি Google Analytics ইভেন্ট টেবিল থেকে A/B Testing পরীক্ষার ডেটা বের করতে ব্যবহার করতে পারেন এমন প্রশ্নের উদাহরণগুলি প্রদান করে৷

সমস্ত পরীক্ষা থেকে ক্রয় এবং পরীক্ষা করুন স্ট্যান্ডার্ড বিচ্যুতি মান

আপনি স্বাধীনভাবে Firebase A/B Testing ফলাফল যাচাই করতে পরীক্ষার ফলাফলের ডেটা ব্যবহার করতে পারেন। নিম্নলিখিত BigQuery SQL স্টেটমেন্ট পরীক্ষার ভেরিয়েন্ট, প্রতিটি ভেরিয়েন্টে অনন্য ব্যবহারকারীর সংখ্যা এবং in_app_purchase এবং ecommerce_purchase ইভেন্ট থেকে মোট আয় এবং _TABLE_SUFFIX শুরু এবং শেষ তারিখ হিসাবে নির্দিষ্ট সময়সীমার মধ্যে সমস্ত পরীক্ষার জন্য স্ট্যান্ডার্ড বিচ্যুতির যোগফল বের করে। আপনি এই ক্যোয়ারী থেকে প্রাপ্ত ডেটা ব্যবহার করতে পারেন একটি পরিসংখ্যানগত তাত্পর্য জেনারেটরের সাথে এক-টেইলড টি-টেস্টের জন্য যে ফলাফলগুলি Firebase প্রদান করে তা আপনার নিজের বিশ্লেষণের সাথে মেলে।

A/B Testing কীভাবে অনুমান গণনা করে সে সম্পর্কে আরও তথ্যের জন্য, পরীক্ষার ফলাফল ব্যাখ্যা করুন দেখুন।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন

নিম্নলিখিত উদাহরণ কোয়েরিটি ব্যাখ্যা করে কিভাবে BigQuery এ একটি নির্দিষ্ট পরীক্ষার জন্য ডেটা পাওয়া যায়। এই নমুনা ক্যোয়ারী পরীক্ষার নাম, ভেরিয়েন্টের নাম (বেসলাইন সহ), ইভেন্টের নাম এবং ইভেন্টের সংখ্যা প্রদান করে।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

সীমা

A/B Testing মোট 300টি পরীক্ষা, 24টি চলমান পরীক্ষা এবং 24টি খসড়া পরীক্ষার মধ্যে সীমাবদ্ধ। এই সীমাগুলি Remote Config রোলআউটগুলির সাথে ভাগ করা হয়৷ উদাহরণস্বরূপ, আপনার যদি দুটি চলমান রোলআউট এবং তিনটি চলমান পরীক্ষা থাকে তবে আপনি 19টি পর্যন্ত অতিরিক্ত রোলআউট বা পরীক্ষা করতে পারেন৷

• আপনি যদি 300 মোট পরীক্ষার সীমা বা 24 খসড়া পরীক্ষার সীমাতে পৌঁছান, তাহলে একটি নতুন তৈরি করার আগে আপনাকে অবশ্যই একটি বিদ্যমান পরীক্ষা মুছে ফেলতে হবে।

• আপনি যদি 24টি চলমান পরীক্ষা এবং রোলআউট সীমাতে পৌঁছে যান, তাহলে একটি নতুন পরীক্ষা শুরু করার আগে আপনাকে অবশ্যই একটি চলমান পরীক্ষা বা রোলআউট বন্ধ করতে হবে।

একটি পরীক্ষায় সর্বাধিক 8টি রূপ থাকতে পারে (বেসলাইন সহ) এবং প্রতিটি ভেরিয়েন্টের জন্য 25টি পর্যন্ত প্যারামিটার থাকতে পারে। একটি পরীক্ষার আকার প্রায় 200 KiB পর্যন্ত হতে পারে। এর মধ্যে ভেরিয়েন্টের নাম, ভেরিয়েন্ট প্যারামিটার এবং অন্যান্য কনফিগারেশন মেটাডেটা অন্তর্ভুক্ত রয়েছে।