وقتی با کاربران خود تماس میگیرید یا پویش بازاریابی جدیدی را شروع میکنید، میخواهید مطمئن شوید که این کار را بهدرستی انجام میدهید. آزمون آ/ب میتواند به شما کمک کند تا با آزمایش کردن انواع پیام در بخشهای انتخابشده از پایگاه کاربرانتان، بهینهترین عبارتبندی و ارائه را پیدا کنید. چه هدف شما حفظ بهتر باشد یا تبدیل در یک پیشنهاد، آزمایش A/B میتواند تحلیل آماری انجام دهد تا تعیین کند آیا یک نسخه پیام از خط پایه برای هدف انتخابی شما بهتر عمل میکند یا نه.
برای آزمایش A/B گونههای ویژگی با خط مبنا، کارهای زیر را انجام دهید:
- آزمایشتان را ایجاد کنید.
- آزمایشتان را در دستگاه آزمایشی اعتبارسنجی کنید.
- آزمایشتان را مدیریت کنید.
ایجاد آزمایش
آزمایشی که از Firebase In-App Messaging استفاده میکند به شما امکان میدهد چندین نوع از یک پیام درونبرنامه را ارزیابی کنید.
مطمئن شوید Google Analytics در پروژهتان فعال باشد تا آزمایش به دادههای Analytics دسترسی داشته باشد.
اگر هنگام ایجاد پروژهتان Google Analytics را فعال نکردهاید، میتوانید آن را در برگه
تنظیمات > ادغامها کنسول Firebase فعال کنید.در کنسول Firebase، بااستفاده از یکی از این گزینهها، آزمایش Firebase In-App Messaging را شروع کنید:
از A/B Testing:
به DevOps و تعامل > آزمایش A/B بروید.
روی ایجاد آزمایش کلیک کنید، سپس وقتی از شما خواسته شد سرویسی را که میخواهید با آن آزمایش کنید انتخاب کنید، پیامرسانی درونبرنامه را انتخاب کنید.
از In-App Messaging:
به DevOps و تعامل > پیامرسانی بروید.
روی In-App Messaging کلیک کنید، و سپس روی آزمایش جدید کلیک کنید.
نام و شرح اختیاری برای آزمایشتان وارد کنید و روی بعدی کلیک کنید.
فیلدهای هدفیابی را تکمیل کنید، ابتدا برنامهای را که از آزمایش شما استفاده میکند انتخاب کنید. همچنین میتوانید با انتخاب گزینههایی که شامل موارد زیر است، زیرمجموعهای از کاربران خود را برای شرکت در آزمایش خود هدف قرار دهید:
- نسخه: یک یا چند نسخه از برنامهتان
- مخاطبان کاربر: Analytics مخاطب استفادهشده برای هدفیابی کاربرانی که ممکن است در آزمایش گنجانده شوند
- مشخصه کاربر: یک یا چند Analytics مشخصه کاربر برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
- کشور/ منطقه: یک یا چند کشور یا منطقه برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند
- زبان دستگاه: یک یا چند زبان و منطقه زبانی که برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده میشود
- اولین باز کردن: کاربران را براساس اولین باری که برنامهتان را باز کردهاند هدف قرار دهید
- آخرین تعامل با برنامه: کاربران را براساس آخرین باری که با برنامهتان تعامل داشتهاند هدف قرار دهید
درصد کاربران هدف را تنظیم کنید: درصدی از پایگاه کاربر برنامهتان را که با معیارهای تنظیمشده در کاربران هدف مطابقت دارد انتخاب کنید. این درصد بهطور مساوی بین خط مبنا و یک یا چند متغیر در آزمایشتان تقسیم میشود. این درصد میتواند هر مقداری بین ۰٫۰۱٪ و ۱۰۰٪ باشد. درصدها بهطور تصادفی برای هر آزمایش به کاربران اختصاص داده میشود، ازجمله آزمایشهای تکراری.
در بخش انواع، پیام درونبرنامه خط مبنا را برای ارسال به گروه خط مبنا بااستفاده از میانای طراحی پیام که برای پویش پیامرسانی درونبرنامه عادی استفاده میکنید پیکربندی کنید.
برای افزودن متغیر به آزمایشتان، روی افزودن متغیر کلیک کنید. بهطور پیشفرض، آزمایشها یک خط پایه و یک متغیر دارند.
(اختیاری) نام توصیفیتری برای هر متغیر وارد کنید.
(اختیاری) در بالای بخش انواع، روی دکمه مقایسه انواع کلیک کنید تا یک یا چند نوع پیام را در کنار پیام پایه مقایسه کنید.
سنجه هدفی را برای آزمایشتان تعریف کنید تا هنگام ارزیابی انواع آزمایش بههمراه هر سنجه دیگری که میخواهید از فهرست استفاده کنید، از آن استفاده شود. این سنجهها شامل اهداف داخلی (تعامل، خرید، درآمد، حفظ، و غیره)، Analytics رویداد تبدیل، و Analytics رویداد دیگر است.
زمانبندی آزمایش را پیکربندی کنید:
- تاریخ شروع و پایان را برای آزمایش تنظیم کنید.
- تنظیم کنید پیامهای درونبرنامه چگونه در همه گونهها راهاندازی شوند.
برای ذخیره کردن آزمایش، روی مرور کلیک کنید.
شما مجاز به داشتن حداکثر ۳۰۰ آزمایش در هر پروژه (شامل عرضه) هستید، که میتواند شامل حداکثر ۲۴ آزمایش و عرضه درحال اجرا باشد، و بقیه بهعنوان آزمایشهای تکمیلشده درنظر گرفته میشوند.
آزمایشتان را در دستگاه آزمایشی اعتبارسنجی کنید
برای هر نصب Firebase، میتوانید کد اصالتسنجی نصب مرتبط با آن را بازیابی کنید. میتوانید از این کد برای آزمایش انواع آزمایش خاص در دستگاه آزمایشی که برنامهتان در آن نصب شده است استفاده کنید. برای اعتبارسنجی آزمایشتان در دستگاه آزمایشی، کارهای زیر را انجام دهید:
- نماد اصالتسنجی نصب را بهصورت زیر دریافت کنید:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
وب
import { getInstallations, getToken } from "firebase/installations"; const installations = getInstallations(app); const installationAuthToken = getToken(installations);
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
- روی پیشنویس (و/یا درحال اجرا برای آزمایشهای پیکربندی از راه دور) کلیک کنید، نشانگر را روی آزمایشتان نگه دارید، روی منوِ زمینهای (more_vert) کلیک کنید، و سپس روی مدیریت دستگاههای آزمایشی کلیک کنید.
- کد اصالتسنجی نصب را برای دستگاه آزمایشی وارد کنید و متغیر آزمایش را برای ارسال به آن دستگاه آزمایشی انتخاب کنید.
- برنامه را اجرا کنید و مطمئن شوید که متغیر انتخابشده در دستگاه آزمایشی دریافت میشود.
برای کسب اطلاعات بیشتر درباره نصبهای Firebase، مدیریت نصبهای Firebase را ببینید.
مدیریت آزمایش
چه آزمایشی را با Remote Config، «سازنده اعلانها»، یا Firebase In-App Messaging ایجاد کنید، میتوانید آزمایشتان را اعتبارسنجی و شروع کنید، آزمایشتان را درحین اجرا پایش کنید، و تعداد کاربران موجود در آزمایش درحال اجرا را افزایش دهید.
وقتی آزمایشتان تمام شد، میتوانید تنظیمات استفادهشده توسط گونه برنده را یادداشت کنید و سپس آن تنظیمات را برای همه کاربران عرضه کنید. یا میتوانید آزمایش دیگری اجرا کنید.
شروع آزمایش
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
- روی پیشنویس کلیک کنید، سپس روی عنوان آزمایشتان کلیک کنید.
- برای تأیید اینکه برنامهتان کاربرانی دارد که در آزمایشتان گنجانده میشوند، جزئیات پیشنویس را ازهم باز کنید و ببینید آیا عددی بزرگتر از ۰٪ در بخش هدفیابی و توزیع وجود دارد (برای مثال، ۱٪ از کاربران با معیارها مطابقت دارند).
- برای تغییر آزمایش، روی ویرایش کلیک کنید.
- برای شروع آزمایش، روی شروع آزمایش کلیک کنید. میتوانید حداکثر ۲۴ آزمایش برای هر پروژه بهطور همزمان اجرا کنید.
پایش آزمایش
وقتی آزمایشی برای مدتی اجرا شد، میتوانید پیشرفت آن را بررسی کنید و ببینید نتایج شما برای کاربرانی که تاکنون در آزمایشتان شرکت کردهاند چگونه است.
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
روی درحال اجرا کلیک کنید، سپس روی عنوان آزمایشتان کلیک کنید یا آن را جستجو کنید. در این صفحه، میتوانید آمار مشاهدهشده و مدلسازیشده مختلفی را درباره آزمایش درحال اجرای خود مشاهده کنید، ازجمله:
- ٪ تفاوت از مقدار پایه: معیاری برای بهبود سنجه برای متغیری معین در مقایسه با مقدار پایه. با مقایسه کردن محدوده مقدار برای متغیر با محدوده مقدار برای خط مبنا محاسبه میشود.
- احتمال زدن خط مبنا: احتمال تخمینی اینکه یک متغیر معین خط مبنا را برای سنجه انتخابشده بزند.
- observed_metric بهازای هر کاربر: براساس نتایج آزمایش، این محدوده پیشبینیشدهای است که مقدار سنجه درطول زمان در آن قرار خواهد گرفت.
- مجموع observed_metric: مقدار تجمعی مشاهدهشده برای خط مبنا یا متغیر. این مقدار برای اندازهگیری میزان عملکرد هریک از گونههای آزمایش استفاده میشود و برای محاسبه بهبود، محدوده مقدار، احتمال زدن خط مبنا، و احتمال بهترین گونه بودن استفاده میشود. بسته به سنجهای که اندازهگیری میشود، این ستون ممکن است با برچسب «مدت برای هر کاربر»، «درآمد برای هر کاربر»، «نرخ حفظ»، یا «نرخ تبدیل» نشان داده شود.
پساز اینکه آزمایشتان مدتی اجرا شد (حداقل ۷ روز برای FCM و In-App Messaging یا ۱۴ روز برای Remote Config)، دادههای این صفحه نشان میدهد کدام متغیر، درصورت وجود، «پیشتاز» است. برخیاز اندازهگیریها با نمودار میلهای همراه است که دادهها را در قالب تصویری ارائه میدهد.
عرضه کردن آزمایش برای همه کاربران
پساز اینکه آزمایش بهاندازه کافی اجرا شد و «پیشتاز» یا متغیر برنده را برای سنجه هدفتان بهدست آوردید، میتوانید آزمایش را برای ۱۰۰٪ کاربران منتشر کنید. این کار به شما امکان میدهد متغیری را برای انتشار برای همه کاربران در آینده انتخاب کنید. حتی اگر آزمایشتان برنده مشخصی نداشته باشد، همچنان میتوانید انتخاب کنید که گونهای را برای همه کاربرانتان منتشر کنید.
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
- روی تکمیلشده یا درحال اجرا کلیک کنید، روی آزمایشی که میخواهید برای همه کاربران عرضه شود کلیک کنید، روی منوِ زمینهای () عرضه کردن متغیر کلیک کنید.
با انجام یکی از کارهای زیر، آزمایشتان را برای همه کاربران عرضه کنید:
- برای آزمایشی که از سازنده اعلانها استفاده میکند، از کادر گفتگوی عرضه پیام برای ارسال پیام به کاربران هدف باقیمانده که بخشی از آزمایش نبودند استفاده کنید.
- برای آزمایش Remote Config، متغیری را انتخاب کنید تا مشخص شود کدام مقادیر پارامتر Remote Config بهروز شود. معیارهای هدفیابی تعریفشده هنگام ایجاد آزمایش بهعنوان شرط جدیدی در الگو اضافه میشود تا اطمینان حاصل شود که عرضه فقط بر کاربرانی که هدف آزمایش هستند تأثیر میگذارد. پساز کلیک کردن روی مرور در پیکربندی از راه دور برای مرور تغییرات، روی انتشار تغییرات کلیک کنید تا عرضه تکمیل شود.
- برای آزمایش In-App Messaging، از کادر گفتگو برای تعیین اینکه کدام گونه باید بهعنوان پویش مستقل In-App Messaging عرضه شود استفاده کنید. پساز انتخاب، به صفحه نوشتن FIAM هدایت میشوید تا قبلاز انتشار، هرگونه تغییری را که لازم است اعمال کنید.
ازهم باز کردن آزمایش
اگر متوجه شدید که آزمایشی کاربران کافی برای A/B Testing جذب نمیکند تا بتواند پیشرو را اعلام کند، میتوانید توزیع آزمایشتان را افزایش دهید تا به درصد بیشتری از پایگاه کاربر برنامه دسترسی پیدا کنید.
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
- آزمایش درحال اجرا را که میخواهید ویرایش کنید انتخاب کنید.
- در نمای کلی آزمایش، روی منوِ بافت () کلیک کنید، و سپس روی ویرایش آزمایش درحال اجرا کلیک کنید.
- کادر گفتگوی هدفیابی گزینهای را برای افزایش درصد کاربرانی که در آزمایش درحال اجرا هستند نمایش میدهد. عددی بزرگتر از درصد فعلی انتخاب کنید و روی انتشار کلیک کنید. آزمایش به درصدی از کاربران که مشخص کردهاید ارسال خواهد شد.
تکرار یا متوقف کردن آزمایش
- در کنسول Firebase، به DevOps و تعامل > آزمایش A/B بروید.
- روی تکمیلشده یا درحال اجرا کلیک کنید، نشانگر را روی آزمایشتان نگه دارید، روی منوِ بافت () کلیک کنید، و سپس روی تکرار آزمایش یا توقف آزمایش کلیک کنید.
هدفیابی کاربر
میتوانید کاربران را هدف قرار دهید تا بااستفاده از معیارهای هدفیابی کاربر زیر، در آزمایشتان گنجانده شوند.
| معیار هدفیابی | اپراتور(ها) | مقدار(ها) | توجه |
|---|---|---|---|
| نسخه | شامل،
شامل نیست، دقیقاً مطابقت دارد، شامل عبارت باقاعده (regex) است |
مقداری برای یک یا چند نسخه برنامه که میخواهید در آزمایش لحاظ شود وارد کنید. |
هنگام استفاده از هریک از عملگرهای شامل، شامل نمیشود، یا دقیقاً مطابقت دارد، میتوانید فهرستی از مقادیر جداشده با کاما ارائه دهید. هنگام استفاده از عملگر حاوی عبارت باقاعده، میتوانید عبارتهای باقاعده را در قالب RE2 ایجاد کنید. عبارت باقاعده شما میتواند با همه یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین میتوانید از لنگرهای ^ و $ برای مطابقت دادن ابتدا، انتها، یا کل رشته هدف استفاده کنید. |
| مخاطب(های) کاربر | شامل همه موارد،
شامل حداقل یکی از موارد، شامل همه موارد نیست، شامل حداقل یکی از موارد نیست |
یک یا چند مخاطب Analytics را برای هدفیابی کاربرانی که ممکن است در آزمایشتان گنجانده شوند انتخاب کنید. | برخیاز آزمایشهایی که مخاطبان Google Analytics را هدف قرار میدهند ممکن است به چند روز زمان برای جمعآوری داده نیاز داشته باشند چون مشمول تأخیر پردازش داده Analytics هستند. بهاحتمال زیاد با این تأخیر برای کاربران جدید مواجه میشوید که معمولاً ۲۴ تا ۴۸ ساعت پساز ایجاد در مخاطبان واجدشرایط ثبتنام میشوند، یا برای مخاطبان اخیراً ایجادشده. |
| مشخصه کاربر | برای نوشتار:
دربردارنده، دربرندارنده، دقیقاً منطبق با، دربردارنده عبارت باقاعده (regex) برای اعداد: <، ≤، =، ≥، > |
از مشخصه کاربر Analytics برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده میشود، با طیفی از گزینهها برای انتخاب مقادیر مشخصه کاربر.
در کلاینت، فقط میتوانید مقادیر رشتهای را برای مشخصههای کاربر تنظیم کنید. برای شرایطی که از عملگرهای عددی استفاده میکنند، سرویس Remote Config مقدار مشخصه کاربر مربوطه را به عدد صحیح/اعشاری تبدیل میکند. |
هنگام استفاده از عملگر حاوی عبارت باقاعده، میتوانید عبارتهای باقاعده را در قالب RE2 ایجاد کنید. عبارت باقاعده شما میتواند با همه یا بخشی از رشته نسخه هدف مطابقت داشته باشد. همچنین میتوانید از لنگرهای ^ و $ برای مطابقت دادن ابتدا، انتها، یا کل رشته هدف استفاده کنید. |
| کشور/منطقه | نامربوط | یک یا چند کشور یا منطقه که برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده میشود. | |
| زبانها | نامربوط | یک یا چند زبان و منطقه زبانی که برای انتخاب کاربرانی که ممکن است در آزمایش گنجانده شوند استفاده میشود. | |
| نخستین باز کردن |
بیشتر از
کمتر از بین |
کاربران را براساس اولین باری که برنامهتان را باز کردهاند (به روز) هدفیابی کنید. | |
| آخرین تعامل برنامه |
بیشتر از
کمتر از بین |
کاربران را براساس آخرین باری که با برنامهتان تعامل داشتهاند (به روز) هدفیابی کنید. |
سنجههای A/B Testing
وقتی آزمایشتان را ایجاد میکنید، سنجه اصلی یا هدف را انتخاب میکنید که برای تعیین نوع برنده استفاده میشود. همچنین باید سنجههای دیگر را ردیابی کنید تا به شما کمک کند عملکرد هر متغیر آزمایش را بهتر درک کنید و روندهای مهمی را که ممکن است برای هر متغیر متفاوت باشد ردیابی کنید، مانند حفظ کاربر، پایداری برنامه، و درآمد خرید درونبرنامه. میتوانید تا پنج سنجه غیرهدف را در آزمایشتان پیگیری کنید.
برای مثال، فرض کنید خریدهای درونبرنامهای جدیدی به برنامهتان اضافه کردهاید و میخواهید اثربخشی دو پیام «تلنگر» متفاوت را مقایسه کنید. در این مورد، ممکن است تصمیم بگیرید درآمد خرید را بهعنوان سنجه هدف خود انتخاب کنید زیرا میخواهید گونه برنده نشاندهنده اعلانی باشد که منجر به بالاترین درآمد خرید درونبرنامهای شده است. و چون میخواهید ردیابی کنید که کدام نوع منجر به تبدیلهای بیشتر در آینده و حفظ کاربران شده است، میتوانید موارد زیر را در سنجشهای دیگر برای ردیابی اضافه کنید:
- کل درآمد تخمینی برای دیدن اینکه درآمد ترکیبی آگهی و خرید درونبرنامهای شما چه تفاوتی بین دو نوع دارد.
- حفظ کاربر (۱ روز)، حفظ کاربر (۲ تا ۳ روز)، حفظ کاربر (۴ تا ۷ روز) برای ردیابی حفظ کاربر روزانه یا هفتگی.
جدولهای زیر جزئیات مربوط به نحوه محاسبه سنجههای هدف و سنجههای دیگر را ارائه میدهند.
سنجههای هدف
| سنجه | شرح |
|---|---|
| کاربران بدون تجربه خرابی | درصد کاربرانی که درطول آزمایش با خطاهایی در برنامهتان که توسط کیت توسعه نرمافزار Firebase Crashlytics شناسایی شدهاند مواجه نشدهاند.
توجه: Firebase Crashlytics برای برنامههای وب پشتیبانی نمیشود. |
| درآمد تخمینی آگهی | درآمد تخمینی آگهی. |
| درآمد کل تخمینی | مقدار ترکیبی برای خرید و درآمد آگهی تخمینی. |
| درآمد خرید | مقدار ترکیبی برای همه رویدادهای purchase و
in_app_purchase.
|
| نگهداری (۱ روز) | تعداد کاربرانی که بهطور روزانه به برنامهتان برمیگردند. |
| نگهداری (۲ تا ۳ روز) | تعداد کاربرانی که ظرف ۲ تا ۳ روز به برنامهتان برمیگردند. |
| نگهداری (۴ تا ۷ روز) | تعداد کاربرانی که ظرف ۴ تا ۷ روز به برنامهتان برمیگردند. |
| نگهداری (۸ تا ۱۴ روز) | تعداد کاربرانی که ظرف ۸ تا ۱۴ روز به برنامهتان برمیگردند. |
| نگهداری (بیشاز ۱۵ روز) | تعداد کاربرانی که ۱۵ روز یا بیشتر پساز آخرین استفاده از برنامهتان به آن برمیگردند. |
| first_open | رویداد Analytics که وقتی کاربر برای اولینبار پساز نصب یا بازنصب برنامه آن را باز میکند، راهاندازی میشود. بهعنوان بخشی از قیف تبدیل استفاده میشود. |
سنجههای دیگر
| سنجه | شرح |
|---|---|
| notification_dismiss | رویداد Analytics که وقتی اعلانی که توسط «سازنده اعلانها» ارسال شده است بسته میشود، راهاندازی میشود (فقط Android). |
| notification_receive | رویداد Analytics که وقتی اعلانی که توسط «سازنده اعلانها» ارسال شده است درحالیکه برنامه در پسزمینه است دریافت میشود، راهاندازی میشود (فقط Android). |
| os_update | رویداد Analytics که زمان بهروزرسانی سیستمعامل دستگاه به نسخه جدید را ردیابی میکند.برای کسب اطلاعات بیشتر، رویدادهای خودکار ثبتشده را ببینید.
این سنجه برای برنامههای وب پشتیبانی نمیشود. |
| screen_view | رویداد Analytics که صفحههای مشاهدهشده در برنامهتان را ردیابی میکند. برای کسب اطلاعات بیشتر، به ردیابی بازدیدهای صفحه مراجعه کنید. |
| session_start | رویداد Analytics که جلسههای کاربر را در برنامهتان میشمارد. برای اطلاعات بیشتر، رویدادهای جمعآوریشده بهطور خودکار را ببینید. |