Firebase A/B টেস্ট সম্পর্কে

আপনার টেস্ট ফলাফলের প্রাসঙ্গিকতা ও উপযোগিতা সর্বাধিক করতে সাহায্য করার জন্য, এই পৃষ্ঠাটি Firebase A/B Testing কীভাবে কাজ করে সেই সম্পর্কে বিস্তারিত তথ্য প্রদান করে।

স্যাম্পেল সাইজ

Firebase A/B Testing ইনফারেন্সের ক্ষেত্রে এক্সপেরিমেন্ট শুরু করার আগে ন্যূনতম স্যাম্পেল সাইজ শনাক্ত করার প্রয়োজন হয় না। সাধারণত, আপনার সবচেয়ে বড় এক্সপেরিমেন্ট এক্সপোজার লেভেল বেছে নেওয়া উচিত যেটি আপনার পক্ষে সুবিধাজনক। স্যাম্পেলের সাইজ বড় হলে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ ফলাফল পাওয়ার সম্ভাবনা বেড়ে যায়, বিশেষ করে যখন ভেরিয়েন্টের মধ্যে পারফর্ম্যান্সের পার্থক্য কম হয়। এছাড়াও, আপনার পরীক্ষার বৈশিষ্ট্যের উপর ভিত্তি করে সাজেস্ট করা স্যাম্পেলের সাইজ খুঁজে পেতে, অনলাইন স্যাম্পেল সাইজ ক্যালকুলেটর ব্যবহার করা আপনার পক্ষে উপযোগী হতে পারে।

এক্সপেরিমেন্ট এডিট করুন

আপনি চালু থাকা এক্সপেরিমেন্টের বেছে নেওয়া প্যারামিটার এডিট করতে পারবেন, যার মধ্যে রয়েছে:

• পরীক্ষার নাম
• বিবরণ
• টার্গেটিং সংক্রান্ত শর্তাবলী
• ভেরিয়েন্টের ভ্যালু

কোনও এক্সপেরিমেন্ট এডিট করতে:

1. Firebase কনসোলে, DevOps ও এনগেজমেন্ট > A/B টেস্টিং বিকল্পে যান।
2. আপনি যে এক্সপেরিমেন্ট পরিবর্তন করতে চান সেটির ফলাফল পৃষ্ঠা খুলুন।
3. আরও মেনু থেকে চলমান এক্সপেরিমেন্ট এডিট করুন বিকল্প বেছে নিন।
4. পরিবর্তন করে প্রকাশ করুন বিকল্পে ক্লিক করুন।

মনে রাখবেন, কোনও পরীক্ষা চলাকালীন অ্যাপের আচরণ পরিবর্তন করলে, ফলাফলে প্রভাব পড়তে পারে।

রিমোট কনফিগ ভেরিয়েন্ট অ্যাসাইনমেন্ট লজিক

যেসব ব্যবহারকারী সব এক্সপেরিমেন্ট টার্গেটিং শর্ত (শতাংশ এক্সপোজার শর্ত সহ) পূরণ করেন, তাদের ভেরিয়েন্ট ওয়েট এবং এক্সপেরিমেন্ট আইডি ও ব্যবহারকারীর Firebase ইনস্টলেশন আইডির হ্যাশ অনুযায়ী এক্সপেরিমেন্ট ভেরিয়েন্টে অ্যাসাইন করা হয়।

Google Analytics দর্শক দের ক্ষেত্রে লেটেন্সি প্রযোজ্য এবং কোনও ব্যবহারকারী প্রাথমিকভাবে দর্শকের মাপকাঠি পূরণ করলে সাথে সাথেই উপলভ্য হয় না:

• আপনি নতুন অডিয়েন্স তৈরি করলে, নতুন ব্যবহারকারী একত্রিত করতে ২৪-৪৮ ঘণ্টা সময় লাগতে পারে।
• নতুন ব্যবহারকারীরা উপযুক্ত হওয়ার ২৪-৪৮ ঘণ্টা পরে সাধারণত উপযুক্ত অডিয়েন্সে নথিভুক্ত হন।

সময়-সংবেদনশীল টার্গেটিংয়ের জন্য, Google Analytics ব্যবহারকারীর প্রপার্টি বা বিল্ট-ইন টার্গেটিং বিকল্প যেমন দেশ বা অঞ্চল, ভাষা এবং অ্যাপ ভার্সন ব্যবহার করার কথা বিবেচনা করুন।

কোনও ব্যবহারকারী একবার কোনও এক্সপেরিমেন্টে প্রবেশ করলে, তাকে ক্রমাগত তার এক্সপেরিমেন্ট ভেরিয়েন্টে অ্যাসাইন করা হয় এবং এক্সপেরিমেন্ট থেকে প্যারামিটার মান গ্রহণ করা হয় যতক্ষণ না এক্সপেরিমেন্টটি অ্যাক্টিভ থাকে, এমনকি যদি তার ব্যবহারকারীর প্রপার্টি পরিবর্তিত হয় এবং তারা আর এক্সপেরিমেন্ট টার্গেটিং মানদণ্ড পূরণ না করে।

অ্যাক্টিভেশন ইভেন্ট

এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্ট, এক্সপেরিমেন্ট পরিমাপকে সেইসব অ্যাপ ব্যবহারকারীর মধ্যে সীমাবদ্ধ করে যারা অ্যাক্টিভেশন ইভেন্ট ট্রিগার করে। এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্টের কোনও প্রভাব অ্যাপের মাধ্যমে ফেচ করা এক্সপেরিমেন্ট প্যারামিটারের উপর পড়ে না; এক্সপেরিমেন্ট টার্গেটিংয়ের মাপকাঠি পূরণ করা সব ব্যবহারকারী এক্সপেরিমেন্ট প্যারামিটার পাবেন। তাই, এমন একটি অ্যাক্টিভেশন ইভেন্ট বেছে নেওয়া গুরুত্বপূর্ণ যা এক্সপেরিমেন্ট প্যারামিটার ফেচ ও অ্যাক্টিভেট করার পরে কিন্তু এক্সপেরিমেন্ট প্যারামিটার ব্যবহার করে অ্যাপের আচরণ পরিবর্তন করার আগে ঘটে।

ভেরিয়েন্টের ওজন

এক্সপেরিমেন্ট তৈরি করার সময়, ডিফল্ট ভেরিয়েন্ট ওয়েট পরিবর্তন করা সম্ভব যাতে এক্সপেরিমেন্ট ব্যবহারকারীদের আরও বেশি শতাংশকে একটি ভেরিয়েন্টে রাখা যায়।

পরীক্ষার ফলাফল ব্যাখ্যা করো

আপনার এক্সপেরিমেন্টের ফলাফল শুধুমাত্র দৈবক্রমে ঘটেছে কিনা তা বুঝতে সাহায্য করার জন্য Firebase A/B Testing ফ্রিকোয়েন্টিস্ট ইনফারেন্স ব্যবহার করে। এই সম্ভাবনাকে সম্ভাবনার মান বা p-ভ্যালু হিসেবে দেখানো হয়। p-ভ্যালু হল সেই সম্ভাবনা যা দুটি ভ্যারিয়েন্টের মধ্যে পারফর্ম্যান্সে এই বড় বা আরও বড় পার্থক্য র‍্যান্ডম সুযোগের কারণে হতে পারে যদি আসলে কোনও প্রভাব না থাকে, যা ০ থেকে ১-এর মধ্যে কোনও ভ্যালু দ্বারা পরিমাপ করা হয়। A/B Testing ০.০৫-এর তাৎপর্যপূর্ণ লেভেল ব্যবহার করে যাতে:

• p-ভ্যালু ০.০৫-এর কম হলে তা ইঙ্গিত করে যে প্রকৃত পার্থক্য শূন্য হলে, পর্যবেক্ষণ করা পার্থক্যের এই চরম সীমাটি দৈবক্রমে ঘটার সম্ভাবনা ৫%-এর কম। যেহেতু ০.০৫ হল থ্রেশহোল্ড, তাই ০.০৫-এর কম যেকোনও p-ভ্যালু ভেরিয়েন্টের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য নির্দেশ করে।
• p-ভ্যালু ০.০৫-এর বেশি হলে বোঝা যায় যে ভেরিয়েন্টের মধ্যে পার্থক্য পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ নয়।

পরীক্ষার ডেটা দিনে একবার রিফ্রেশ করা হয় এবং শেষবার আপডেট করার সময় পরীক্ষার ফলাফল পৃষ্ঠার উপরে দেখা যায়।

এক্সপেরিমেন্টের ফলাফল গ্রাফে বেছে নেওয়া মেট্রিকের ক্রমবর্ধমান গড় মান দেখানো হয়। যেমন, আপনি যদি ব্যবহারকারী প্রতি বিজ্ঞাপন থেকে উপার্জন মেট্রিক হিসেবে ট্র্যাক করেন, তাহলে এটি ব্যবহারকারী প্রতি লক্ষ্য করা উপার্জন দেখায় এবং আপনি যদি ক্র্যাশ-ফ্রি ব্যবহারকারীদের ট্র্যাক করেন, তাহলে এটি ক্র্যাশের সম্মুখীন হননি এমন ব্যবহারকারীদের শতাংশ ট্র্যাক করে। এই ডেটা এক্সপেরিমেন্ট শুরু হওয়ার সময় থেকে জমা হয়েছে।

ফলাফল পর্যবেক্ষণ করা ডেটা এবং অনুমান করা ডেটা-তে ভাগ করা হয়। পর্যবেক্ষণ করা ডেটা সরাসরি Google Analytics ডেটা থেকে গণনা করা হয় এবং অনুমান করা ডেটা p-ভ্যালু এবং আস্থা ব্যবধান প্রদান করে যাতে আপনি পর্যবেক্ষণ করা ডেটার পরিসংখ্যানগত গুরুত্ব মূল্যায়ন করতে পারেন।

প্রতিটি মেট্রিকের জন্য, নিম্নলিখিত পরিসংখ্যান দেখানো হয়:

পর্যবেক্ষণ করা ডেটা

• ট্র্যাক করা মেট্রিকের মোট ভ্যালু (রিটেন করা ব্যবহারকারীর সংখ্যা, ক্র্যাশ হওয়া ব্যবহারকারীর সংখ্যা, মোট উপার্জন)
• মেট্রিক-নির্দিষ্ট রেট (রিটেনশন রেট, কনভার্সন রেট, ব্যবহারকারী প্রতি উপার্জন)
• ভেরিয়েন্ট ও বেসলাইনের মধ্যে শতাংশের পার্থক্য (লিফ্ট)

অনুমান সংক্রান্ত ডেটা

• ৯৫% CI (গড় মানের পার্থক্য) একটি ইন্টারভ্যাল দেখায় যা ৯৫% কনফিডেন্স সহ ট্র্যাক করা মেট্রিকের "আসল" ভ্যালু ধারণ করে। যেমন, আপনার এক্সপেরিমেন্টের ফলাফল যদি আনুমানিক মোট উপার্জনের জন্য ৯৫% CI হয়, যা $৫ এবং $১০-এর মধ্যে, তাহলে ৯৫% সম্ভাবনা আছে যে গড় মানের মধ্যে প্রকৃত পার্থক্য $৫ এবং $১০-এর মধ্যে হবে। CI রেঞ্জে ০ থাকলে, ভেরিয়েন্ট ও বেসলাইনের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য শনাক্ত করা যায়নি।

  আস্থা ব্যবধানের মান ট্র্যাক করা মেট্রিকের সাথে মেলে এমন ফর্ম্যাটে দেখানো হয়। যেমন, ব্যবহারকারী ধরে রাখার জন্য সময় (HH:MM:SS-এ), ব্যবহারকারী প্রতি বিজ্ঞাপন থেকে উপার্জনের জন্য মার্কিন ডলার এবং কনভার্সন রেটের জন্য শতাংশ।

• P-ভ্যালু, যা এক্সপেরিমেন্টে প্রাপ্ত ফলাফলের মতো চরম ডেটা পর্যবেক্ষণ করার সম্ভাবনাকে উপস্থাপন করে, তবে শর্ত হল ভেরিয়েন্ট এবং বেসলাইনের মধ্যে কোনও প্রকৃত পার্থক্য নেই। p-ভ্যালু যত কম হবে, আমরা পরীক্ষাটি পুনরাবৃত্তি করলে, লক্ষ্য করা পারফর্ম্যান্স যে সঠিক থাকবে, সেই বিষয়ে তত বেশি আত্মবিশ্বাস থাকবে। ০.০৫ বা তার কম ভ্যালু থাকলে, তা উল্লেখযোগ্য পার্থক্য এবং ফলাফল যে দৈবাৎ হয়েছে তার কম সম্ভাবনা নির্দেশ করে। P-ভ্যালু ওয়ান-টেইলড টেস্ট-এর উপর ভিত্তি করে তৈরি করা হয়, যেখানে ভেরিয়েন্ট ভ্যালু বেসলাইন ভ্যালুর চেয়ে বেশি হয়। Firebase ক্রমাগত ভেরিয়েবলের (সাংখ্যিক মান, যেমন উপার্জন) জন্য অসম বৈচিত্র্য t-টেস্ট এবং কনভার্সন ডেটার (বাইনারি মান, যেমন ব্যবহারকারী ধরে রাখা, ক্র্যাশ-ফ্রি ব্যবহারকারী, Google Analytics ইভেন্ট ট্রিগার করা ব্যবহারকারী) জন্য অনুপাতের z-টেস্ট ব্যবহার করে।

এক্সপেরিমেন্টের ফলাফল প্রতিটি এক্সপেরিমেন্ট ভেরিয়েন্টের জন্য গুরুত্বপূর্ণ ইনসাইট প্রদান করে, যার মধ্যে রয়েছে:

• বেসলাইনের তুলনায় প্রতিটি এক্সপেরিমেন্ট মেট্রিক কতটা বেশি বা কম, সরাসরি পরিমাপ করা (অর্থাৎ, আসলে পর্যবেক্ষণ করা ডেটা)
• ভেরিয়েন্ট ও বেসলাইনের মধ্যে যে পার্থক্য দেখা গেছে তা দৈবাৎ (p-ভ্যালু) হওয়ার সম্ভাবনা
• এমন একটি রেঞ্জ যার মধ্যে প্রতিটি এক্সপেরিমেন্ট মেট্রিকের জন্য ভ্যারিয়েন্ট ও বেসলাইনের মধ্যে "আসল" পারফর্ম্যান্সের পার্থক্য থাকার সম্ভাবনা আছে---"সবচেয়ে ভালো" ও "সবচেয়ে খারাপ" পারফর্ম্যান্সের পরিস্থিতি বোঝার একটি উপায়

লিডার নির্ধারণ

ফ্রিকোয়েন্টিস্ট ইনফারেন্স ব্যবহার করে করা পরীক্ষার ক্ষেত্রে, Firebase কোনও ভেরিয়েন্টকে তখনই এগিয়ে থাকা হিসেবে ঘোষণা করে যখন লক্ষ্য মেট্রিকের উপর ভেরিয়েন্ট ও বেসলাইনের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য পারফর্ম্যান্সের পার্থক্য থাকে। একাধিক ভেরিয়েন্ট এই মাপকাঠি পূরণ করলে, সবচেয়ে কম p-ভ্যালু সহ ভেরিয়েন্টটি বেছে নেওয়া হয়।

যেহেতু লিডার নির্ধারণ শুধুমাত্র প্রাথমিক লক্ষ্যের উপর ভিত্তি করে করা হয়, তাই লিডিং ভেরিয়েন্ট রোল-আউট করবেন কিনা তা সিদ্ধান্ত নেওয়ার আগে আপনাকে সব প্রাসঙ্গিক ফ্যাক্টর বিবেচনা করতে হবে এবং সেকেন্ডারি মেট্রিকের ফলাফল পর্যালোচনা করতে হবে। আপনি পরিবর্তন করার প্রত্যাশিত সুবিধা, নেতিবাচক ঝুঁকি (যেমন, উন্নতির জন্য আস্থা ব্যবধানের নিম্ন সীমা) এবং প্রাথমিক লক্ষ্য ছাড়া অন্যান্য মেট্রিকের উপর প্রভাব বিবেচনা করতে পারেন।

যেমন, আপনার প্রাথমিক মেট্রিক যদি ক্র্যাশ-ফ্রি ব্যবহারকারী হয় এবং ভেরিয়েন্ট A যদি বেসলাইনের থেকে স্পষ্টতই এগিয়ে থাকে, কিন্তু ভেরিয়েন্ট A-এর ব্যবহারকারী রিটেনশন মেট্রিক যদি বেসলাইন ব্যবহারকারী রিটেনশনের থেকে পিছিয়ে থাকে, তাহলে ভেরিয়েন্ট A আরও ব্যাপকভাবে রোল-আউট করার আগে আপনি আরও তদন্ত করতে চাইতে পারেন।

আপনি যেকোনও ভেরিয়েন্ট রোল-আউট করতে পারেন, শুধু লিডিং ভেরিয়েন্ট নয়, প্রাথমিক ও সেকেন্ডারি মেট্রিক জুড়ে পারফর্ম্যান্সের সামগ্রিক মূল্যায়নের উপর ভিত্তি করে।

এক্সপেরিমেন্টের সময়সীমা

Firebase সাজেস্ট করে যে নিম্নলিখিত শর্ত পূরণ না হওয়া পর্যন্ত এক্সপেরিমেন্ট চালিয়ে যেতে হবে:

1. প্রয়োজনীয় ফলাফল দেখানোর জন্য এক্সপেরিমেন্ট থেকে পর্যাপ্ত ডেটা পাওয়া গেছে। এক্সপেরিমেন্ট ও ফলাফল সংক্রান্ত ডেটা প্রতিদিন একবার আপডেট করা হয়। আপনার এক্সপেরিমেন্টের জন্য সাজেস্ট করা স্যাম্পেল সাইজ মূল্যায়ন করতে, আপনি অনলাইন স্যাম্পেল সাইজ ক্যালকুলেটর ব্যবহার করতে পারেন।
2. আপনার ব্যবহারকারীদের একটি প্রতিনিধিত্বমূলক নমুনা নিশ্চিত করতে এবং দীর্ঘমেয়াদী পারফর্ম্যান্স পরিমাপ করতে পরীক্ষাটি যথেষ্ট দীর্ঘ সময় ধরে চালানো হয়েছে। সাধারণত রিমোট কনফিগ এক্সপেরিমেন্টের জন্য কমপক্ষে দুই সপ্তাহ রানটাইম সাজেস্ট করা হয়।

এক্সপেরিমেন্ট শুরু হওয়ার পর থেকে সর্বোচ্চ ৯০ দিন পর্যন্ত এক্সপেরিমেন্ট ডেটা প্রসেস করা হয়। ৯০ দিন পরে, পরীক্ষাটি অটোমেটিক বন্ধ হয়ে যায়। এক্সপেরিমেন্টের ফলাফল Firebase কনসোলে আর আপডেট করা হয় না এবং এক্সপেরিমেন্ট-নির্দিষ্ট প্যারামিটারের মান পাঠানো বন্ধ হয়ে যায়। এই পর্যায়ে, ক্লায়েন্ট Remote Config টেমপ্লেটে সেট করা শর্তের ভিত্তিতে প্যারামিটারের মান ফেচ করা শুরু করে। আপনি পরীক্ষা মুছে না দেওয়া পর্যন্ত পুরনো পরীক্ষার ডেটা রেখে দেওয়া হয়।

BigQuery স্কিমা

Firebase কনসোলে A/B Testing এক্সপেরিমেন্ট ডেটা দেখার পাশাপাশি, আপনি BigQuery-এ এক্সপেরিমেন্ট ডেটা চেক ও বিশ্লেষণ করতে পারবেন। A/B Testing-এর আলাদা কোনও BigQuery টেবিল নেই, তবে এক্সপেরিমেন্ট ও ভ্যারিয়েন্ট মেম্বারশিপ Analytics ইভেন্ট টেবিলের মধ্যে প্রতিটি Google Analytics ইভেন্টে সেভ করা হয়।

ব্যবহারকারীর প্রপার্টিতে এক্সপেরিমেন্ট সংক্রান্ত তথ্য থাকে, যা এই ফর্ম্যাটে থাকে userProperty.key like "firebase_exp_%" বা userProperty.key = "firebase_exp_01" যেখানে 01 হল এক্সপেরিমেন্ট আইডি এবং userProperty.value.string_value-এ এক্সপেরিমেন্ট ভেরিয়েন্টের (শূন্য-ভিত্তিক) ইনডেক্স থাকে।

এক্সপেরিমেন্ট ডেটা এক্সট্র্যাক্ট করতে আপনি এইসব এক্সপেরিমেন্ট ব্যবহারকারীর প্রপার্টি ব্যবহার করতে পারবেন। এর ফলে আপনি নিজের এক্সপেরিমেন্টের ফলাফল বিভিন্ন উপায়ে ভাগ করে দেখতে এবং A/B Testing-এর ফলাফল স্বাধীনভাবে যাচাই করতে পারবেন।

শুরু করতে, এই নির্দেশিকায় যেভাবে বর্ণনা করা হয়েছে সেইভাবে নিম্নলিখিত ধাপগুলি সম্পূর্ণ করুন:

1. Firebase কনসোলে Google Analytics-এর জন্য BigQuery এক্সপোর্ট করার সুবিধা চালু করুন
2. BigQuery ব্যবহার করে A/B Testing ডেটা অ্যাক্সেস করুন
3. উদাহরণ কোয়েরি এক্সপ্লোর করুন

Firebase কনসোলে Google Analytics-এর জন্য BigQuery এক্সপোর্ট চালু করুন

আপনি Spark প্ল্যান ব্যবহার করলে, BigQuery স্যান্ডবক্স ব্যবহার করে BigQuery ফ্রিতে অ্যাক্সেস করতে পারবেন, তবে স্যান্ডবক্সের সীমা প্রযোজ্য হবে। আরও তথ্যের জন্য দাম ও BigQuery স্যান্ডবক্স দেখুন।

প্রথমে, আপনি Analytics ডেটা BigQuery-এ এক্সপোর্ট করছেন কিনা তা নিশ্চিত করুন:

1. Firebase কনসোলে, সেটিংস > ইন্টিগ্রেশন ট্যাব বিকল্পে যান।

2. BigQuery কার্ডে, ম্যানেজ করুন বিকল্পে ক্লিক করুন এবং যাচাই করুন যে আপনার প্রোজেক্ট BigQuery-এ Analytics ডেটা এক্সপোর্ট করছে।

   কার্ডে লিঙ্ক করুন লেখা থাকলে, আপনাকে এক্সপোর্ট সেট-আপ করতে হবে (পরবর্তী ধাপে এগিয়ে যান)।

3. আপনাকে এক্সপোর্ট সেট-আপ করতে হলে:

   1. BigQuery-এর সাথে Firebase লিঙ্ক করা সম্পর্কে পর্যালোচনা করুন, তারপর পরবর্তী বিকল্পে ক্লিক করুন।

   2. ইন্টিগ্রেশন কনফিগার করুন বিভাগে, Google Analytics চালু করুন।

   3. একটি অঞ্চল বেছে নিন এবং এক্সপোর্ট সেটিংস বেছে নিন।

      মনে রাখবেন: Firebase সেটিংসের জন্য Google Analytics সম্পর্কে আরও তথ্য পেতে, ডেটা সংগ্রহ দেখুন।

   4. BigQuery-এর সাথে লিঙ্ক করুন বিকল্পে ক্লিক করুন।

আপনি কীভাবে ডেটা এক্সপোর্ট করার বিকল্প বেছে নিয়েছেন তার উপর নির্ভর করে, টেবিল উপলভ্য হতে এক দিন পর্যন্ত সময় লাগতে পারে। BigQuery-এ প্রোজেক্ট ডেটা এক্সপোর্ট করার ব্যাপারে আরও তথ্যের জন্য, BigQuery-এ প্রোজেক্ট ডেটা এক্সপোর্ট করুন দেখুন।

BigQuery-এ A/B Testing-এর ডেটা অ্যাক্সেস করুন

নির্দিষ্ট পরীক্ষার জন্য ডেটা কোয়েরি করার আগে, আপনার কোয়েরিতে ব্যবহার করার জন্য নিম্নলিখিতগুলির মধ্যে কিছু বা সবকটি পেতে চাইবেন:

• এক্সপেরিমেন্ট আইডি: আপনি এটি এক্সপেরিমেন্ট ওভারভিউ পৃষ্ঠার URL থেকে পেতে পারেন। যেমন, আপনার URL যদি https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25-এর মতো দেখতে হয়, তাহলে এক্সপেরিমেন্ট আইডি হল 25।
• Google Analytics প্রপার্টি আইডি: এটি হল আপনার ৯-সংখ্যার Google Analytics প্রপার্টি আইডি। আপনি এটি Google Analytics-এর মধ্যে খুঁজে পাবেন; এছাড়াও, আপনার Google Analytics ইভেন্ট টেবিলের (project_name.analytics_000000000.events) নাম দেখানোর জন্য আপনার প্রোজেক্টের নাম বড় করলে, এটি BigQuery-এও দেখা যায়।
• এক্সপেরিমেন্টের তারিখ: আরও দ্রুত ও দক্ষ কোয়েরি তৈরি করার জন্য, আপনার কোয়েরি Google Analytics দৈনিক ইভেন্ট টেবিল পার্টিশনে সীমাবদ্ধ রাখা ভালো অভ্যাস, যেখানে আপনার এক্সপেরিমেন্ট ডেটা থাকে—টেবিলগুলি YYYYMMDD সাফিক্স দিয়ে চিহ্নিত করা হয়। তাই, আপনার এক্সপেরিমেন্ট যদি ২ ফেব্রুয়ারি, ২০২৬ থেকে ২ মে, ২০২৬ পর্যন্ত চলে, তাহলে আপনাকে _TABLE_SUFFIX between '20260202' AND '20260502' উল্লেখ করতে হবে। উদাহরণ হিসেবে, নির্দিষ্ট পরীক্ষার ভ্যালু বেছে নিন দেখুন।
• ইভেন্টের নাম: সাধারণত, এগুলি আপনার লক্ষ্য মেট্রিকের সাথে সম্পর্কিত যা আপনি এক্সপেরিমেন্টে কনফিগার করেছেন। যেমন, in_app_purchase ইভেন্ট, ad_impression, বা user_retention ইভেন্ট।

পরামর্শ: আপনি Blaze প্ল্যান ব্যবহার করলে, Firebase আপনার বেছে নেওয়া পরীক্ষার জন্য পরীক্ষার নাম, ভেরিয়েন্ট, ইভেন্টের নাম এবং ইভেন্টের সংখ্যা এক্সট্র্যাক্ট করতে একটি স্যাম্পেল কোয়েরি তৈরি করতে পারে। Firebase কনসোলের অটো-জেনারেটেড কোয়েরি ব্যবহার করে কোয়েরি এক্সপেরিমেন্ট ডেটা

থেকে আরও জানুন

আপনার কোয়েরি তৈরি করার জন্য প্রয়োজনীয় তথ্য সংগ্রহ করার পরে:

1. Google Cloud কনসোলে, BigQuery-এ যান।
2. আপনার প্রোজেক্ট বেছে নিন, তারপর SQL কোয়েরি তৈরি করুন বিকল্প বেছে নিন।
3. আপনার কোয়েরি যোগ করুন। রান করার জন্য কোয়েরির উদাহরণ দেখতে, কোয়েরির উদাহরণ এক্সপ্লোর করুন বিকল্প দেখুন।
4. রান করুন বিকল্পে ক্লিক করুন।

পরামর্শ: এই ধাপগুলি Google Cloud কনসোল ব্যবহার করার পদ্ধতি বর্ণনা করলেও, আপনি BigQuery কোয়েরি করার জন্য CLI বা ক্লায়েন্ট লাইব্রেরিও ব্যবহার করতে পারবেন। BigQuery ডকুমেন্টেশন থেকে আরও জানুন।

Firebase কনসোলের অটোমেটিক জেনারেট করা কোয়েরি ব্যবহার করে এক্সপেরিমেন্ট ডেটা কোয়েরি করুন

আপনি Blaze প্ল্যান ব্যবহার করলে, এক্সপেরিমেন্ট ওভারভিউ পৃষ্ঠা থেকে আপনি যে এক্সপেরিমেন্ট দেখছেন সেটির নাম, ভেরিয়েন্ট, ইভেন্টের নাম এবং ইভেন্টের সংখ্যা সম্পর্কিত তথ্য সহ একটি স্যাম্পেল কোয়েরি পাবেন।

অটোমেটিক জেনারেট করা কোয়েরি পেতে ও রান করতে:

1. Firebase কনসোলে, DevOps ও এনগেজমেন্ট > A/B টেস্টিং বিকল্পে যান।
2. পরীক্ষার ওভারভিউ খুলতে, আপনি যে A/B Testing পরীক্ষা সম্পর্কে কোয়েরি করতে চান সেটি বেছে নিন।
3. 'বিকল্প' মেনু থেকে, BigQuery ইন্টিগ্রেশন বিকল্পের নিচে, এক্সপেরিমেন্ট ডেটা কোয়েরি করুন বিকল্প বেছে নিন। এটি Google Cloud কনসোলের মধ্যে BigQuery-এ আপনার প্রোজেক্ট খোলে এবং একটি প্রাথমিক কোয়েরি প্রদান করে যা আপনি আপনার এক্সপেরিমেন্ট ডেটা কোয়েরি করতে ব্যবহার করতে পারেন।

নিচে দেওয়া উদাহরণে "শীতকালীন স্বাগত এক্সপেরিমেন্ট" নামের তিনটি ভেরিয়েন্ট (বেসলাইন সহ) সহ এক্সপেরিমেন্টের জন্য তৈরি করা কোয়েরি দেখানো হয়েছে। এটি প্রতিটি ইভেন্টের জন্য অ্যাক্টিভ এক্সপেরিমেন্টের নাম, ভেরিয়েন্টের নাম, অনন্য ইভেন্ট এবং ইভেন্টের সংখ্যা দেখায়। মনে রাখবেন, কোয়েরি বিল্ডার আপনার প্রোজেক্টের নাম টেবিলের নামে উল্লেখ করে না, কারণ এটি সরাসরি আপনার প্রোজেক্টের মধ্যে খোলে।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20260202' AND '20260502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

অতিরিক্ত কোয়েরির উদাহরণের জন্য, কোয়েরির উদাহরণ এক্সপ্লোর করুন বিকল্পে যান।

উদাহরণ কোয়েরি এক্সপ্লোর করুন

নিম্নলিখিত বিভাগগুলি থেকে আপনি কোয়েরির উদাহরণ পাবেন যা আপনি Google Analytics ইভেন্ট টেবিল থেকে A/B Testing এক্সপেরিমেন্ট ডেটা এক্সট্র্যাক্ট করতে ব্যবহার করতে পারবেন।

সব এক্সপেরিমেন্ট থেকে কেনাকাটা ও এক্সপেরিমেন্ট স্ট্যান্ডার্ড ডেভিয়েশন ভ্যালু এক্সট্র্যাক্ট করুন

আপনি এক্সপেরিমেন্টের ফলাফল সংক্রান্ত ডেটা ব্যবহার করে স্বাধীনভাবে Firebase A/B Testing ফলাফল যাচাই করতে পারবেন। নিম্নলিখিত BigQuery SQL স্টেটমেন্ট এক্সপেরিমেন্ট ভেরিয়েন্ট, প্রতিটি ভেরিয়েন্টে অনন্য ব্যবহারকারীর সংখ্যা এবং in_app_purchase ও ecommerce_purchase ইভেন্ট থেকে মোট উপার্জন এবং _TABLE_SUFFIX শুরু ও শেষ হওয়ার তারিখ হিসেবে নির্দিষ্ট করা সময়সীমার মধ্যে সব এক্সপেরিমেন্টের জন্য স্ট্যান্ডার্ড ডেভিয়েশন এক্সট্র্যাক্ট করে। Firebase-এর প্রদান করা ফলাফল আপনার নিজের বিশ্লেষণের সাথে মিলছে কিনা তা যাচাই করার জন্য, আপনি এই কোয়েরি থেকে পাওয়া ডেটা, ওয়ান-টেইলড টি-টেস্টের জন্য স্ট্যাটিস্টিক্যাল সিগনিফিকেন্স জেনারেটরের সাথে ব্যবহার করতে পারবেন।

A/B Testing কীভাবে ইনফারেন্স গণনা করে সেই সম্পর্কে আরও জানতে, টেস্টের ফলাফল ব্যাখ্যা করুন দেখুন।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

নির্দিষ্ট পরীক্ষার ভ্যালু বেছে নিন

BigQuery-এ নির্দিষ্ট পরীক্ষার জন্য কীভাবে ডেটা পাওয়া যায় তা নিম্নলিখিত কোয়েরির উদাহরণ থেকে বোঝা যায়। এই স্যাম্পেল কোয়েরি থেকে এক্সপেরিমেন্টের নাম, ভেরিয়েন্টের নাম (বেসলাইন সহ), ইভেন্টের নাম এবং ইভেন্টের সংখ্যা জানা যায়।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

সীমা

A/B Testing-এ মোট ৩০০টি এক্সপেরিমেন্ট করা যায় যার মধ্যে ২৪টি এক্সপেরিমেন্ট চলছে। এইসব সীমা Remote Config রোল-আউটের সাথে শেয়ার করা হয়। যেমন, আপনার যদি দুটি রোলআউট এবং তিনটি এক্সপেরিমেন্ট চালু থাকে, তাহলে আপনি আরও ১৯টি রোলআউট বা এক্সপেরিমেন্ট চালাতে পারবেন।

• আপনি ৩০০টি পরীক্ষার সীমায় পৌঁছে গেলে, নতুন পরীক্ষা তৈরি করার আগে আপনাকে অবশ্যই আগে থেকে থাকা কোনও পরীক্ষা মুছে ফেলতে হবে।

• আপনি ২৪টি চালু এক্সপেরিমেন্ট ও রোল-আউট করার সীমায় পৌঁছে গেলে, নতুন এক্সপেরিমেন্ট বা রোল-আউট শুরু করার আগে আপনাকে চালু এক্সপেরিমেন্ট বা রোল-আউট বন্ধ করতে হবে।

একটি এক্সপেরিমেন্টে সর্বাধিক ৮টি ভেরিয়েন্ট (বেসলাইন সহ) এবং প্রতিটি ভেরিয়েন্টের জন্য সর্বাধিক ২৫টি প্যারামিটার থাকতে পারে। একটি এক্সপেরিমেন্টের সাইজ প্রায় ২০০ KiB পর্যন্ত হতে পারে। এর মধ্যে ভেরিয়েন্টের নাম, ভেরিয়েন্টের প্যারামিটার এবং অন্যান্য কনফিগারেশন মেটাডেটা অন্তর্ভুক্ত।