ফায়ারবেস এ/বি পরীক্ষা সম্পর্কে

আপনার পরীক্ষার ফলাফলের প্রাসঙ্গিকতা এবং উপযোগিতা সর্বাধিক করতে সাহায্য করার জন্য, এই পৃষ্ঠাটি Firebase A/B Testing কীভাবে কাজ করে সে সম্পর্কে বিস্তারিত তথ্য প্রদান করে।

নমুনা আকার

Firebase A/B Testing অনুমানের জন্য পরীক্ষা শুরু করার আগে ন্যূনতম নমুনা আকার সনাক্তকরণের প্রয়োজন হয় না। সাধারণভাবে, আপনার সবচেয়ে বড় পরীক্ষা এক্সপোজার স্তরটি বেছে নেওয়া উচিত যা আপনি স্বাচ্ছন্দ্য বোধ করেন। বড় নমুনা আকার পরিসংখ্যানগতভাবে উল্লেখযোগ্য ফলাফল খুঁজে পাওয়ার সম্ভাবনা বাড়ায়, বিশেষ করে যখন বিভিন্ন ধরণের মধ্যে পারফরম্যান্সের পার্থক্য কম থাকে। আপনার পরীক্ষার বৈশিষ্ট্যের উপর ভিত্তি করে প্রস্তাবিত নমুনা আকার খুঁজে পেতে একটি অনলাইন নমুনা আকার ক্যালকুলেটরের সাথে পরামর্শ করাও আপনার জন্য কার্যকর হতে পারে।

পরীক্ষা সম্পাদনা করুন

আপনি চলমান পরীক্ষাগুলির নির্বাচিত প্যারামিটারগুলি সম্পাদনা করতে পারেন, যার মধ্যে রয়েছে:

• পরীক্ষার নাম
• বিবরণ
• লক্ষ্যবস্তু শর্তাবলী
• বৈকল্পিক মান

একটি পরীক্ষা সম্পাদনা করতে:

1. আপনি যে পরীক্ষাটি পরিবর্তন করতে চান তার ফলাফল পৃষ্ঠাটি খুলুন।
2. More মেনু থেকে, চলমান পরীক্ষা সম্পাদনা করুন নির্বাচন করুন।
3. আপনার পরিবর্তনগুলি করুন, তারপর প্রকাশ করুন এ ক্লিক করুন।

মনে রাখবেন যে চলমান পরীক্ষার সময় অ্যাপের আচরণ পরিবর্তন করলে ফলাফলের উপর প্রভাব পড়তে পারে।

রিমোট কনফিগ ভেরিয়েন্ট অ্যাসাইনমেন্ট লজিক

যেসব ব্যবহারকারী সমস্ত পরীক্ষামূলক টার্গেটিং শর্তের সাথে মেলে (শতাংশ এক্সপোজার শর্ত সহ) তাদের পরীক্ষামূলক আইডি এবং ব্যবহারকারীর Firebase ইনস্টলেশন আইডির ভ্যারিয়েন্ট ওজন এবং হ্যাশ অনুসারে পরীক্ষামূলক ভ্যারিয়েন্টগুলিতে বরাদ্দ করা হয়।

Google Analytics দর্শকদের ক্ষেত্রে লেটেন্সি প্রযোজ্য এবং ব্যবহারকারী যখন প্রাথমিকভাবে দর্শকদের মানদণ্ড পূরণ করে তখন তাৎক্ষণিকভাবে উপলব্ধ হয় না:

• যখন আপনি একটি নতুন দর্শক তৈরি করেন, তখন নতুন ব্যবহারকারী সংগ্রহ করতে 24-48 ঘন্টা সময় লাগতে পারে।
• নতুন ব্যবহারকারীরা সাধারণত যোগ্য হওয়ার 24-48 ঘন্টা পরে যোগ্য দর্শকদের সাথে তালিকাভুক্ত হন।

সময়-সংবেদনশীল টার্গেটিংয়ের জন্য, Google Analytics ব্যবহারকারীর বৈশিষ্ট্য বা দেশ বা অঞ্চল, ভাষা এবং অ্যাপ সংস্করণের মতো অন্তর্নির্মিত টার্গেটিং বিকল্পগুলি ব্যবহার করার কথা বিবেচনা করুন।

একবার একজন ব্যবহারকারী একটি পরীক্ষায় প্রবেশ করলে, তাদের ক্রমাগত তাদের পরীক্ষার ধরণে বরাদ্দ করা হয় এবং যতক্ষণ পরীক্ষাটি সক্রিয় থাকে ততক্ষণ পর্যন্ত তারা পরীক্ষা থেকে প্যারামিটার মান গ্রহণ করে, এমনকি যদি তাদের ব্যবহারকারীর বৈশিষ্ট্যগুলি পরিবর্তিত হয় এবং তারা আর পরীক্ষা লক্ষ্যমাত্রার মানদণ্ড পূরণ না করে।

সক্রিয়করণ ইভেন্ট

এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্টগুলি কেবলমাত্র সেই অ্যাপ ব্যবহারকারীদের জন্য পরীক্ষামূলক পরিমাপ সীমাবদ্ধ করে যারা অ্যাক্টিভেশন ইভেন্টটি ট্রিগার করে। এক্সপেরিমেন্ট অ্যাক্টিভেশন ইভেন্টটি অ্যাপ দ্বারা আনা পরীক্ষামূলক প্যারামিটারগুলির উপর কোনও প্রভাব ফেলে না; যারা এক্সপেরিমেন্ট টার্গেটিং মানদণ্ড পূরণ করে তারা সকল ব্যবহারকারী এক্সপেরিমেন্ট প্যারামিটারগুলি পাবেন। অতএব, এমন একটি অ্যাক্টিভেশন ইভেন্ট নির্বাচন করা গুরুত্বপূর্ণ যা এক্সপেরিমেন্ট প্যারামিটারগুলি আনা এবং সক্রিয় করার পরে ঘটে, কিন্তু অ্যাপের আচরণ পরিবর্তন করার জন্য এক্সপেরিমেন্ট প্যারামিটারগুলি ব্যবহার করার আগে।

বৈকল্পিক ওজন

পরীক্ষা তৈরির সময়, পরীক্ষামূলক ব্যবহারকারীদের একটি বৃহত্তর শতাংশকে একটি ভেরিয়েন্টে স্থাপন করার জন্য ডিফল্ট ভেরিয়েন্টের ওজন পরিবর্তন করা সম্ভব।

পরীক্ষার ফলাফল ব্যাখ্যা করুন

Firebase A/B Testing ফ্রিকোয়েন্সিস্ট ইনফারেন্স ব্যবহার করে আপনার পরীক্ষার ফলাফল শুধুমাত্র এলোমেলো সুযোগের কারণে হওয়ার সম্ভাবনা বুঝতে সাহায্য করে। এই সম্ভাবনাটি একটি সম্ভাব্যতা মান , বা p-মান দ্বারা প্রতিনিধিত্ব করা হয়। p-মান হল সম্ভাব্যতা যে দুটি ভেরিয়েন্টের মধ্যে পারফরম্যান্সের এত বড়, বা তার বেশি, পার্থক্য এলোমেলো সুযোগের কারণে ঘটতে পারে যদি 0 এবং 1 এর মধ্যে একটি মান দ্বারা পরিমাপ করা কোনও প্রভাব না থাকে। A/B Testing 0.05 এর একটি তাৎপর্য স্তর ব্যবহার করে যাতে:

• ০.০৫ এর কম p-মান নির্দেশ করে যে যদি প্রকৃত পার্থক্য শূন্য হয়, তাহলে ৫% এরও কম সম্ভাবনা রয়েছে যে এই চরম পরিলক্ষিত পার্থক্যটি এলোমেলোভাবে ঘটতে পারে। যেহেতু ০.০৫ হল থ্রেশহোল্ড, ০.০৫ এর কম যেকোনো p-মান রূপগুলির মধ্যে একটি পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য নির্দেশ করে।
• ০.০৫-এর বেশি p-মান নির্দেশ করে যে ভেরিয়েন্টের মধ্যে পার্থক্য পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ নয়।

পরীক্ষার তথ্য দিনে একবার রিফ্রেশ করা হয় এবং শেষ আপডেটের সময় পরীক্ষার ফলাফল পৃষ্ঠার উপরে প্রদর্শিত হয়।

পরীক্ষার ফলাফলের গ্রাফটি নির্বাচিত মেট্রিকের ক্রমবর্ধমান গড় মান প্রদর্শন করে। উদাহরণস্বরূপ, যদি আপনি প্রতি ব্যবহারকারীর বিজ্ঞাপনের আয়কে একটি মেট্রিক হিসাবে ট্র্যাক করেন, তাহলে এটি প্রতি ব্যবহারকারীর পর্যবেক্ষণকৃত আয় প্রদর্শন করে এবং যদি আপনি ক্র্যাশ-মুক্ত ব্যবহারকারীদের ট্র্যাক করেন, তাহলে এটি এমন ব্যবহারকারীদের শতাংশ ট্র্যাক করে যারা ক্র্যাশের সম্মুখীন হননি। এই ডেটা পরীক্ষার শুরু থেকে ক্রমবর্ধমান।

ফলাফলগুলি পর্যবেক্ষণকৃত তথ্য এবং অনুমানকৃত তথ্যে বিভক্ত। পর্যবেক্ষণকৃত তথ্য সরাসরি Google Analytics তথ্য থেকে গণনা করা হয় এবং অনুমানকৃত তথ্য p-মান এবং আত্মবিশ্বাসের ব্যবধান প্রদান করে যা আপনাকে পর্যবেক্ষণকৃত তথ্যের পরিসংখ্যানগত তাৎপর্য মূল্যায়ন করতে সাহায্য করে।

প্রতিটি মেট্রিকের জন্য, নিম্নলিখিত পরিসংখ্যান প্রদর্শিত হয়:

পর্যবেক্ষণকৃত তথ্য

• ট্র্যাক করা মেট্রিকের মোট মান (রিটেইন করা ব্যবহারকারীর সংখ্যা, ক্র্যাশ করা ব্যবহারকারীর সংখ্যা, মোট আয়)
• মেট্রিক-নির্দিষ্ট হার (ধারণ হার, রূপান্তর হার, ব্যবহারকারী প্রতি আয়)
• ভেরিয়েন্ট এবং বেসলাইনের মধ্যে শতাংশের পার্থক্য (উত্তোলন)

অনুমান তথ্য

• ৯৫% CI (গড়ের পার্থক্য) এমন একটি ব্যবধান প্রদর্শন করে যেখানে ট্র্যাক করা মেট্রিকের "সত্য" মান ৯৫% আত্মবিশ্বাসের সাথে থাকে। উদাহরণস্বরূপ, যদি আপনার পরীক্ষার ফলাফল $৫ থেকে $১০ এর মধ্যে আনুমানিক মোট আয়ের জন্য ৯৫% CI দেয়, তাহলে গড়ের প্রকৃত পার্থক্য $৫ থেকে $১০ এর মধ্যে হওয়ার সম্ভাবনা ৯৫%। যদি CI পরিসরে ০ থাকে, তাহলে ভেরিয়েন্ট এবং বেসলাইনের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য পার্থক্য সনাক্ত করা যায়নি।

  কনফিডেন্স ইন্টারভালের মানগুলি ট্র্যাক করা মেট্রিকের সাথে মেলে এমন ফর্ম্যাটে প্রদর্শিত হয়। উদাহরণস্বরূপ, ব্যবহারকারী ধরে রাখার জন্য সময় ( HH:MM:SS তে), ব্যবহারকারী প্রতি বিজ্ঞাপনের আয়ের জন্য USD এবং রূপান্তর হারের জন্য শতাংশ।

• P-মান , যা পরীক্ষায় প্রাপ্ত ফলাফলের মতো চরম তথ্য পর্যবেক্ষণের সম্ভাবনাকে প্রতিনিধিত্ব করে, কারণ ভেরিয়েন্ট এবং বেসলাইনের মধ্যে কোনও প্রকৃত পার্থক্য নেই। p-মান যত কম হবে, পরীক্ষাটি পুনরাবৃত্তি করলে পর্যবেক্ষণ করা কর্মক্ষমতা সত্য থাকবে এই আত্মবিশ্বাস তত বেশি হবে। 0.05 বা তার কম মান একটি উল্লেখযোগ্য পার্থক্য নির্দেশ করে এবং ফলাফলগুলি সুযোগের কারণে হওয়ার সম্ভাবনা কম। P-মানগুলি একটি এক-লেজযুক্ত পরীক্ষার উপর ভিত্তি করে তৈরি করা হয়, যেখানে ভেরিয়েন্ট মান বেসলাইন মানের চেয়ে বেশি। Firebase ক্রমাগত চলকগুলির জন্য একটি অসম ভ্যারিয়েন্স টি-পরীক্ষা (সাংখ্যিক মান, যেমন রাজস্ব) এবং রূপান্তর ডেটার জন্য অনুপাতের একটি z-পরীক্ষা (বাইনারি মান, যেমন ব্যবহারকারী ধরে রাখা, ক্র্যাশ-মুক্ত ব্যবহারকারী, ব্যবহারকারী যারা একটি Google Analytics ইভেন্ট ট্রিগার করে) ব্যবহার করে।

পরীক্ষার ফলাফল প্রতিটি পরীক্ষার ধরণ সম্পর্কে গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করে, যার মধ্যে রয়েছে:

• প্রতিটি পরীক্ষার মেট্রিকটি বেসলাইনের সাথে কতটা বেশি বা কম তুলনা করা হয়, সরাসরি পরিমাপ করা হয় (অর্থাৎ, প্রকৃত পর্যবেক্ষণ করা তথ্য)
• ভেরিয়েন্ট এবং বেসলাইনের মধ্যে পরিলক্ষিত পার্থক্যটি এলোমেলো সুযোগের কারণে হওয়ার সম্ভাবনা (p-মান)
• প্রতিটি পরীক্ষামূলক মেট্রিকের জন্য ভেরিয়েন্ট এবং বেসলাইনের মধ্যে "সত্য" পারফরম্যান্স পার্থক্য ধারণ করার সম্ভাবনা রয়েছে এমন একটি পরিসর --- "সেরা কেস" এবং "সবচেয়ে খারাপ কেস" পারফরম্যান্স পরিস্থিতি বোঝার একটি উপায়

Google Optimize দ্বারা পরিচালিত পরীক্ষার ফলাফল ব্যাখ্যা করুন

২৩শে অক্টোবর, ২০২৩-এর আগে শুরু হওয়া পরীক্ষাগুলির জন্য Firebase A/B Testing ফলাফলগুলি Google Optimize দ্বারা চালিত হয়েছিল। Google Optimize আপনার পরীক্ষামূলক ডেটা থেকে অন্তর্দৃষ্টিপূর্ণ পরিসংখ্যান তৈরি করতে Bayesian অনুমান ব্যবহার করেছে।

ফলাফলগুলিকে "পর্যবেক্ষিত ডেটা" এবং "মডেল করা ডেটা" এ বিভক্ত করা হয়েছে। পর্যবেক্ষণ করা ডেটা সরাসরি বিশ্লেষণ ডেটা থেকে গণনা করা হয়েছিল, এবং মডেল করা ডেটা আমাদের বেয়েসিয়ান মডেলের প্রয়োগ থেকে পর্যবেক্ষণ করা ডেটাতে নেওয়া হয়েছিল।

প্রতিটি মেট্রিকের জন্য, নিম্নলিখিত পরিসংখ্যান প্রদর্শিত হয়:

পর্যবেক্ষণকৃত তথ্য

• মোট মান (ভেরিয়েন্টের সকল ব্যবহারকারীর জন্য মেট্রিকের যোগফল)
• গড় মান (ভেরিয়েন্টের ব্যবহারকারীদের জন্য মেট্রিকের গড় মান)
• বেসলাইন থেকে % পার্থক্য

মডেল করা ডেটা

• বেসলাইনকে ছাড়িয়ে যাওয়ার সম্ভাবনা: বেসলাইনের তুলনায় এই ভেরিয়েন্টের জন্য মেট্রিকটি কতটা বেশি হওয়ার সম্ভাবনা
• বেসলাইন থেকে শতাংশের পার্থক্য: ভেরিয়েন্ট এবং বেসলাইনের জন্য মেট্রিকের মধ্যম মডেল অনুমানের উপর ভিত্তি করে
• মেট্রিক রেঞ্জ: যে রেঞ্জগুলিতে মেট্রিকের মান পাওয়া যাওয়ার সম্ভাবনা সবচেয়ে বেশি, ৫০% এবং ৯৫% নিশ্চিততা সহ

সামগ্রিকভাবে, পরীক্ষার ফলাফল আমাদের পরীক্ষার প্রতিটি রূপের জন্য তিনটি গুরুত্বপূর্ণ অন্তর্দৃষ্টি দেয়:

1. প্রতিটি পরীক্ষার মেট্রিকটি বেসলাইনের সাথে কতটা বেশি বা কম তুলনা করা হয়, সরাসরি পরিমাপ করা হয় (অর্থাৎ, প্রকৃত পর্যবেক্ষণ করা তথ্য)
2. বেইসিয়ান অনুমানের উপর ভিত্তি করে প্রতিটি পরীক্ষার মেট্রিক বেসলাইন / সর্বোত্তম সামগ্রিকের চেয়ে বেশি হওয়ার সম্ভাবনা কতটা (যথাক্রমে আরও ভাল / সর্বোত্তম হওয়ার সম্ভাবনা)
3. বেয়েসিয়ান অনুমানের উপর ভিত্তি করে প্রতিটি পরীক্ষার মেট্রিকের জন্য সম্ভাব্য পরিসর - "সেরা কেস" এবং "সবচেয়ে খারাপ কেস" পরিস্থিতি (বিশ্বাসযোগ্য ব্যবধান)

নেতার দৃঢ় সংকল্প

ফ্রিকোয়েন্সিস্ট ইনফারেন্স ব্যবহার করে পরীক্ষা-নিরীক্ষার জন্য, ফায়ারবেস ঘোষণা করে যে লক্ষ্য মেট্রিকের উপর ভেরিয়েন্ট এবং বেসলাইনের মধ্যে পরিসংখ্যানগতভাবে উল্লেখযোগ্য পারফরম্যান্স পার্থক্য থাকলে একটি ভেরিয়েন্ট এগিয়ে রয়েছে। যদি একাধিক ভেরিয়েন্ট এই মানদণ্ড পূরণ করে, তাহলে সর্বনিম্ন p-মান সহ ভেরিয়েন্টটি বেছে নেওয়া হয়।

গুগল অপটিমাইজ ব্যবহার করা পরীক্ষাগুলির জন্য, ফায়ারবেস ঘোষণা করেছে যে কোনও ভেরিয়েন্ট "ক্লিয়ার লিডার", যদি এটি প্রাথমিক মেট্রিকের বেসলাইন ভেরিয়েন্টের চেয়ে 95% এর বেশি ভালো হওয়ার সম্ভাবনা থাকে। যদি একাধিক ভেরিয়েন্ট "ক্লিয়ার লিডার" মানদণ্ড পূরণ করে, তবে কেবলমাত্র সেরা পারফর্মিং ভেরিয়েন্টটিকে "ক্লিয়ার লিডার" হিসাবে লেবেল করা হত।

যেহেতু নেতা নির্ধারণ শুধুমাত্র প্রাথমিক লক্ষ্যের উপর ভিত্তি করে করা হয়, তাই একটি অগ্রণী বৈকল্পিক চালু করার সিদ্ধান্ত নেওয়ার আগে আপনার সমস্ত প্রাসঙ্গিক বিষয় বিবেচনা করা উচিত এবং গৌণ মেট্রিক্সের ফলাফল পর্যালোচনা করা উচিত। আপনি পরিবর্তন করার প্রত্যাশিত সুবিধা, নেতিবাচক ঝুঁকি (যেমন উন্নতির জন্য আত্মবিশ্বাস ব্যবধানের নিম্ন প্রান্ত) এবং প্রাথমিক লক্ষ্য ব্যতীত অন্যান্য মেট্রিক্সের উপর প্রভাব বিবেচনা করতে চাইতে পারেন।

উদাহরণস্বরূপ, যদি আপনার প্রাথমিক মেট্রিক ক্র্যাশ-মুক্ত ব্যবহারকারী হয়, এবং ভেরিয়েন্ট A বেসলাইনের উপর স্পষ্টভাবে এগিয়ে থাকে, কিন্তু ভেরিয়েন্ট A ব্যবহারকারীর ধারণ মেট্রিক্স বেসলাইন ব্যবহারকারীর ধারণকে অনুসরণ করে, তাহলে ভেরিয়েন্ট A আরও ব্যাপকভাবে চালু করার আগে আপনি আরও তদন্ত করতে চাইতে পারেন।

প্রাথমিক এবং মাধ্যমিক উভয় মেট্রিক্সের পারফরম্যান্সের সামগ্রিক মূল্যায়নের উপর ভিত্তি করে, আপনি কেবল একটি শীর্ষস্থানীয় ভেরিয়েন্ট নয়, যেকোনো ভেরিয়েন্ট চালু করতে পারেন।

পরীক্ষার সময়কাল

ফায়ারবেস সুপারিশ করে যে নিম্নলিখিত শর্তগুলি পূরণ না হওয়া পর্যন্ত একটি পরীক্ষা চালিয়ে যাওয়া উচিত:

1. পরীক্ষাটি কার্যকর ফলাফল প্রদানের জন্য যথেষ্ট তথ্য সংগ্রহ করেছে। পরীক্ষা এবং ফলাফলের তথ্য প্রতিদিন একবার আপডেট করা হয়। আপনার পরীক্ষার প্রস্তাবিত নমুনা আকার মূল্যায়ন করার জন্য আপনি একটি অনলাইন নমুনা আকার ক্যালকুলেটরের সাথে পরামর্শ করতে পারেন।
2. আপনার ব্যবহারকারীদের প্রতিনিধিত্বমূলক নমুনা নিশ্চিত করতে এবং দীর্ঘমেয়াদী কর্মক্ষমতা পরিমাপ করার জন্য পরীক্ষাটি যথেষ্ট দীর্ঘ সময় ধরে চলেছে। একটি সাধারণ রিমোট কনফিগ পরীক্ষার জন্য প্রস্তাবিত সর্বনিম্ন রানটাইম হল দুই সপ্তাহ।

পরীক্ষা শুরু হওয়ার পর সর্বোচ্চ ৯০ দিনের জন্য পরীক্ষার ডেটা প্রক্রিয়া করা হয়। ৯০ দিন পর, পরীক্ষাটি স্বয়ংক্রিয়ভাবে বন্ধ হয়ে যায়। পরীক্ষার ফলাফল আর Firebase কনসোলে আপডেট করা হয় না এবং পরীক্ষাটি পরীক্ষা-নির্দিষ্ট প্যারামিটার মান পাঠানো বন্ধ করে দেয়। এই মুহুর্তে, ক্লায়েন্টরা Remote Config টেমপ্লেটে সেট করা শর্তের উপর ভিত্তি করে প্যারামিটার মানগুলি আনতে শুরু করে। আপনি পরীক্ষাটি মুছে না দেওয়া পর্যন্ত ঐতিহাসিক পরীক্ষার ডেটা সংরক্ষণ করা হয়।

BigQuery স্কিমা

Firebase কনসোলে A/B Testing পরীক্ষার ডেটা দেখার পাশাপাশি, আপনি BigQuery তে পরীক্ষার ডেটা পরিদর্শন এবং বিশ্লেষণ করতে পারেন। যদিও A/B Testing আলাদা BigQuery টেবিল নেই, তবুও Experiment এবং Variant সদস্যপদগুলি Analytics ইভেন্ট টেবিলের মধ্যে প্রতিটি Google Analytics ইভেন্টে সংরক্ষণ করা হয়।

যেসব ব্যবহারকারীর বৈশিষ্ট্যে পরীক্ষামূলক তথ্য থাকে, সেগুলো userProperty.key like "firebase_exp_%" অথবা userProperty.key = "firebase_exp_01" যেখানে 01 হল পরীক্ষামূলক আইডি, এবং userProperty.value.string_value পরীক্ষামূলক ভেরিয়েন্টের (শূন্য-ভিত্তিক) সূচক থাকে।

আপনি এই পরীক্ষামূলক ব্যবহারকারীর বৈশিষ্ট্যগুলি ব্যবহার করে পরীক্ষার তথ্য বের করতে পারেন। এটি আপনাকে বিভিন্ন উপায়ে আপনার পরীক্ষার ফলাফলগুলি স্লাইস করার এবং A/B Testing ফলাফলগুলি স্বাধীনভাবে যাচাই করার ক্ষমতা দেয়।

শুরু করতে, এই নির্দেশিকায় বর্ণিত নিম্নলিখিতগুলি সম্পূর্ণ করুন:

1. Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট সক্ষম করুন
2. BigQuery ব্যবহার করে A/B Testing ডেটা অ্যাক্সেস করুন
3. উদাহরণ কোয়েরিগুলি অন্বেষণ করুন

Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট সক্ষম করুন

যদি আপনি Spark প্ল্যানে থাকেন, তাহলে আপনি BigQuery স্যান্ডবক্স ব্যবহার করে বিনামূল্যে BigQuery অ্যাক্সেস করতে পারেন, স্যান্ডবক্স সীমা সাপেক্ষে। আরও তথ্যের জন্য মূল্য নির্ধারণ এবং BigQuery স্যান্ডবক্স দেখুন।

প্রথমে, নিশ্চিত করুন যে আপনি আপনার Analytics ডেটা BigQuery তে রপ্তানি করছেন:

1. ইন্টিগ্রেশন ট্যাবটি খুলুন, যা আপনি Firebase কনসোলে > প্রজেক্ট সেটিংস ব্যবহার করে অ্যাক্সেস করতে পারবেন।
2. যদি আপনি ইতিমধ্যেই অন্যান্য Firebase পরিষেবার সাথে BigQuery ব্যবহার করে থাকেন, তাহলে Manage এ ক্লিক করুন। অন্যথায়, Link এ ক্লিক করুন।
3. BigQuery এর সাথে Firebase লিঙ্ক করার বিষয়ে পর্যালোচনা করুন, তারপর Next-এ ক্লিক করুন।
4. কনফিগার ইন্টিগ্রেশন বিভাগে, Google Analytics টগল সক্ষম করুন।

5. একটি অঞ্চল নির্বাচন করুন এবং রপ্তানি সেটিংস নির্বাচন করুন।

   দ্রষ্টব্য: Firebase সেটিংসের জন্য Google Analytics সম্পর্কে আরও তথ্যের জন্য, ডেটা সংগ্রহ দেখুন।

6. BigQuery এর লিঙ্কে ক্লিক করুন।

আপনি কীভাবে ডেটা রপ্তানি করতে চান তার উপর নির্ভর করে, টেবিলগুলি উপলব্ধ হতে এক দিন পর্যন্ত সময় লাগতে পারে। BigQuery তে প্রকল্পের ডেটা রপ্তানি করার বিষয়ে আরও তথ্যের জন্য, BigQuery তে প্রকল্পের ডেটা রপ্তানি করুন দেখুন।

BigQuery তে A/B Testing ডেটা অ্যাক্সেস করুন

কোনও নির্দিষ্ট পরীক্ষার জন্য ডেটা অনুসন্ধান করার আগে, আপনার কোয়েরিতে ব্যবহার করার জন্য আপনাকে নিম্নলিখিতগুলির কিছু বা সমস্ত তথ্য পেতে হবে:

• এক্সপেরিমেন্ট আইডি: আপনি এক্সপেরিমেন্ট ওভারভিউ পৃষ্ঠার URL থেকে এটি পেতে পারেন। উদাহরণস্বরূপ, যদি আপনার URL https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 এর মতো দেখায়, তাহলে এক্সপেরিমেন্ট আইডি হল 25 ।
• Google Analytics প্রপার্টি আইডি : এটি আপনার ৯-সংখ্যার Google Analytics প্রপার্টি আইডি। আপনি এটি Google Analytics মধ্যে খুঁজে পেতে পারেন; যখন আপনি আপনার প্রোজেক্টের নামটি প্রসারিত করে আপনার Google Analytics ইভেন্ট টেবিলের নাম ( project_name.analytics_000000000.events ) দেখান তখন এটি BigQuery তেও প্রদর্শিত হয়।
• পরীক্ষার তারিখ: দ্রুত এবং আরও কার্যকর কোয়েরি তৈরি করার জন্য, আপনার কোয়েরিগুলিকে Google Analytics দৈনিক ইভেন্ট টেবিল পার্টিশনের মধ্যে সীমাবদ্ধ রাখা ভালো, যেখানে আপনার পরীক্ষার ডেটা থাকে—একটি YYYYMMDD সাফিক্স দিয়ে চিহ্নিত টেবিল। সুতরাং, যদি আপনার পরীক্ষাটি ২রা ফেব্রুয়ারী, ২০২৪ থেকে ২রা মে, ২০২৪ পর্যন্ত চলে, তাহলে আপনাকে _TABLE_SUFFIX between '20240202' AND '20240502' নির্দিষ্ট করতে হবে। উদাহরণস্বরূপ, একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন দেখুন।
• ইভেন্টের নাম: সাধারণত, এগুলি আপনার পরীক্ষায় কনফিগার করা লক্ষ্য মেট্রিক্সের সাথে মিলে যায়। উদাহরণস্বরূপ, in_app_purchase ইভেন্ট, ad_impression , অথবা user_retention ইভেন্ট।

টিপস: যদি আপনি Blaze প্ল্যানে থাকেন, তাহলে Firebase আপনার নির্বাচিত পরীক্ষার জন্য পরীক্ষার নাম, ভেরিয়েন্ট, ইভেন্টের নাম এবং ইভেন্টের সংখ্যা বের করার জন্য একটি নমুনা কোয়েরি তৈরি করতে পারে। Firebase কনসোলের স্বয়ংক্রিয়ভাবে তৈরি কোয়েরি ব্যবহার করে পরীক্ষার ডেটা কোয়েরি করুন এ আরও জানুন।

তথ্য সংগ্রহ করার পর আপনার কোয়েরি তৈরি করার জন্য আপনার প্রয়োজনীয় তথ্য:

1. Google Cloud কনসোলে BigQuery খুলুন।
2. আপনার প্রকল্প নির্বাচন করুন, তারপর SQL কোয়েরি তৈরি করুন নির্বাচন করুন।
3. আপনার কোয়েরি যোগ করুন। উদাহরণস্বরূপ কোয়েরি চালানোর জন্য, Explore example queries দেখুন।
4. রান ক্লিক করুন।

টিপস: যদিও এই ধাপগুলি Google Cloud কনসোল ব্যবহার করে বর্ণনা করা হয়েছে, আপনি BigQuery কোয়েরি করার জন্য CLI বা ক্লায়েন্ট লাইব্রেরি ব্যবহার করতে পারেন। BigQuery ডকুমেন্টেশনে আরও জানুন।

Firebase কনসোলের স্বয়ংক্রিয়ভাবে তৈরি হওয়া কোয়েরি ব্যবহার করে পরীক্ষামূলক ডেটা কোয়েরি করুন

যদি আপনি Blaze প্ল্যান ব্যবহার করেন, তাহলে Experiment overview পৃষ্ঠাটি একটি নমুনা কোয়েরি প্রদান করে যা Experiment এর নাম, ভেরিয়েন্ট, ইভেন্টের নাম এবং আপনি যে Experiment দেখছেন তার ইভেন্টের সংখ্যা প্রদান করে।

স্বয়ংক্রিয়ভাবে তৈরি হওয়া কোয়েরিটি পেতে এবং চালাতে:

1. Firebase কনসোল থেকে, A/B Testing খুলুন এবং Experiment ওভারভিউ খুলতে আপনি যে A/B Testing পরীক্ষাটি জিজ্ঞাসা করতে চান তা নির্বাচন করুন।
2. বিকল্প মেনু থেকে, BigQuery ইন্টিগ্রেশনের নীচে, Query experiment data নির্বাচন করুন। এটি Google Cloud console কনসোলের মধ্যে BigQuery তে আপনার প্রকল্পটি খুলবে এবং একটি মৌলিক প্রশ্ন প্রদান করবে যা আপনি আপনার পরীক্ষার ডেটা অনুসন্ধান করতে ব্যবহার করতে পারেন।

নিম্নলিখিত উদাহরণে "শীতকালীন স্বাগত পরীক্ষা" নামক তিনটি ভেরিয়েন্ট (বেসলাইন সহ) সহ একটি পরীক্ষার জন্য একটি জেনারেট করা কোয়েরি দেখানো হয়েছে। এটি প্রতিটি ইভেন্টের জন্য সক্রিয় পরীক্ষার নাম, ভেরিয়েন্টের নাম, অনন্য ইভেন্ট এবং ইভেন্টের সংখ্যা প্রদান করে। মনে রাখবেন যে কোয়েরি নির্মাতা আপনার প্রকল্পের নাম টেবিলের নামে নির্দিষ্ট করে না, কারণ এটি সরাসরি আপনার প্রকল্পের মধ্যেই খোলে।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

অতিরিক্ত কোয়েরি উদাহরণের জন্য, Explore example queries এ যান।

উদাহরণ কোয়েরিগুলি অন্বেষণ করুন

নিম্নলিখিত বিভাগগুলিতে Google Analytics ইভেন্ট টেবিল থেকে A/B Testing পরীক্ষার ডেটা বের করার জন্য আপনি যে কোয়েরিগুলি ব্যবহার করতে পারেন তার উদাহরণ দেওয়া হয়েছে।

সকল পরীক্ষা-নিরীক্ষা থেকে ক্রয় এবং পরীক্ষামূলক মান বিচ্যুতির মান বের করুন

Firebase A/B Testing ফলাফল স্বাধীনভাবে যাচাই করার জন্য আপনি পরীক্ষার ফলাফলের ডেটা ব্যবহার করতে পারেন। নিম্নলিখিত BigQuery SQL স্টেটমেন্টটি পরীক্ষার ভেরিয়েন্ট, প্রতিটি ভেরিয়েন্টে অনন্য ব্যবহারকারীর সংখ্যা এবং in_app_purchase এবং ecommerce_purchase ইভেন্ট থেকে মোট আয় এবং _TABLE_SUFFIX শুরু এবং শেষ তারিখ হিসাবে নির্দিষ্ট সময়সীমার মধ্যে সমস্ত পরীক্ষার জন্য স্ট্যান্ডার্ড ডেভিয়েশনের যোগফল বের করে। Firebase যে ফলাফলগুলি সরবরাহ করে তা আপনার নিজস্ব বিশ্লেষণের সাথে মেলে কিনা তা যাচাই করতে আপনি এই কোয়েরি থেকে প্রাপ্ত ডেটা ওয়ান-টেইলড টি-টেস্টের জন্য একটি পরিসংখ্যানগত তাৎপর্য জেনারেটরের সাথে ব্যবহার করতে পারেন।

A/B Testing কীভাবে অনুমান গণনা করে সে সম্পর্কে আরও তথ্যের জন্য, পরীক্ষার ফলাফল ব্যাখ্যা করুন দেখুন।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন

নিচের উদাহরণ কোয়েরিটি BigQuery তে একটি নির্দিষ্ট পরীক্ষার জন্য ডেটা কীভাবে সংগ্রহ করতে হয় তা ব্যাখ্যা করে। এই নমুনা কোয়েরিটি পরীক্ষার নাম, ভেরিয়েন্টের নাম (বেসলাইন সহ), ইভেন্টের নাম এবং ইভেন্টের সংখ্যা প্রদান করে।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

সীমা

A/B Testing জন্য মোট ৩০০টি পরীক্ষা, ২৪টি চলমান পরীক্ষা এবং ২৪টি খসড়া পরীক্ষা করা যাবে। এই সীমাগুলি Remote Config রোলআউটের সাথে ভাগ করা হয়েছে। উদাহরণস্বরূপ, যদি আপনার দুটি চলমান রোলআউট এবং তিনটি চলমান পরীক্ষা থাকে, তাহলে আপনি সর্বাধিক ১৯টি অতিরিক্ত রোলআউট বা পরীক্ষা করতে পারবেন।

• যদি আপনি মোট ৩০০টি পরীক্ষামূলক সীমা অথবা ২৪টি খসড়া পরীক্ষার সীমায় পৌঁছে যান, তাহলে নতুন একটি তৈরি করার আগে আপনাকে অবশ্যই বিদ্যমান একটি পরীক্ষা মুছে ফেলতে হবে।

• যদি আপনি ২৪টি চলমান পরীক্ষা এবং রোলআউটের সীমায় পৌঁছে যান, তাহলে নতুন একটি শুরু করার আগে আপনাকে অবশ্যই একটি চলমান পরীক্ষা বা রোলআউট বন্ধ করতে হবে।

একটি পরীক্ষায় সর্বাধিক ৮টি ভেরিয়েন্ট (বেসলাইন সহ) এবং প্রতিটি ভেরিয়েন্টের জন্য সর্বোচ্চ ২৫টি প্যারামিটার থাকতে পারে। একটি পরীক্ষার আকার প্রায় ২০০ কিলোবাইট পর্যন্ত হতে পারে। এর মধ্যে ভেরিয়েন্টের নাম, ভেরিয়েন্ট প্যারামিটার এবং অন্যান্য কনফিগারেশন মেটাডেটা অন্তর্ভুক্ত থাকে।