این راهنما اطلاعاتی درباره مفاهیم کلیدی مربوط به عرضه Remote Config ارائه میدهد تا بتوانید:
- با نحوه عملکرد عضویت گروه عرضه آشنا شوید.
- بدانید چه زمانی از عرضه و چه زمانی از «آزمون آ/ب» استفاده کنید.
- با نحوه تفسیر نتایج عرضه آشنا شوید.
آشنایی با عضویت گروه عرضه تدریجی
وقتی عرضه جدیدی ایجاد میکنید و درصدی را به آن اختصاص میدهید، Firebase بخشی از مخاطبان شما را با اندازه مساوی در گروه کنترل قرار میدهد تا نتایج دقیقی هنگام مقایسه عملکرد ویژگی فعالشده شما بهدست آید، که منجر به گروههای زیر میشود.
- فعال: دستگاههای کاربر اختصاصدادهشده به این گروه، مقداری را که در عرضه پیکربندی میکنید دریافت میکنند.
- کنترل: دستگاههای کاربر اختصاصدادهشده به این گروه، مقداری را دریافت میکنند که درغیراینصورت از Remote Config دریافت میکردند، نه مقدار عرضه.
- اختصاصنیافته: دستگاههای کاربر در این گروه مقداری را دریافت میکنند که درغیراینصورت از Remote Config دریافت میکردند، اما در نتایج مقایسه عرضه استفاده نمیشوند.
یعنی اگر برای ۲٪ از کاربران عرضه کنید، آنها به گروه «فعالشده» اضافه میشوند و ۲٪ دیگر از کاربران به گروه «کنترل» اضافه میشوند که برای مقایسه استفاده میشود. ٪۹۶ از کاربران شما در «اختصاصنیافته» باقی میمانند.
این رویکرد مقایسه عادلانهای بین عملکرد کاربران و دستگاههایی که مقدار عرضه شما را دریافت میکنند و آنهایی که دریافت نمیکنند تضمین میکند و به شما امکان میدهد بهطور مؤثر موفقیت یا شکست عرضه را در صفحه نتایج عرضه تعیین کنید.
تکلیف گروه عرضه در تمام مراحل عرضه یکسان است. یعنی، در همان عرضه، اگر درصد را به ۰٪ کاهش دهید، همه کاربران دوباره مقدار پارامتر تعریفشده در الگو Remote Config را دریافت خواهند کرد. اگر بعداً تصمیم بگیرید درصد عرضه را افزایش دهید، کاربرانی که بخشیاز گروههای «فعالشده» یا «شاهد» قبلی بودند به گروهی که در ابتدا به آن اختصاص داده شده بودند برمیگردند و مقادیر سازگار با آن گروهها را دریافت خواهند کرد.
وقتی تأیید کردید که نسخه پخش شما موفقیتآمیز است و تصمیم گرفتید که آن را بهطور کامل برای ۱۰۰٪ کاربران هدف عرضه کنید، Firebase دیگر از گروه کنترل استفاده نمیکند و همه کاربران و دستگاههای هدف مقدار عرضه را دریافت میکنند.
چه زمانی باید از عرضه درمقابل آزمایش A/B استفاده کرد؟
عرضه Remote Config و A/B Testing برای موارد استفاده کمی متفاوت مناسب هستند و میتوانند بهصورت مکمل استفاده شوند.
عرضهها نسخههای پخش تدریجی هستند و اغلب برای انتشار ویژگی جدید برای گروه منتخبی از کاربران استفاده میشوند. ممکن است بخواهید کاربران را در کشور خاصی هدف قرار دهید یا از نسخه خاصی از برنامهتان استفاده کنید. از عرضه برای کاهش ریسک، آزمایش ویژگیهای جدید در محیط دنیای واقعی، با کنترلهای دقیق استفاده کنید تا بتوانید عملکرد ویژگی را ببینید. همچنین میتوانید عملکرد سرویسهای پسین خود را با بار اضافه ویژگی جدید نظارت کنید و استفاده تقریبی را تخمین بزنید تا مطمئن شوید تغییر شما قبلاز انتشار برای مخاطبان گستردهتر مقیاسپذیر است.
عرضه ابزار عالیای برای شرایطی است که ویژگیهای جدیدی را پیادهسازی میکنید که عملکرد را بهطور قابلتوجهی تغییر میدهند، تغییراتی که ممکن است به نتایج غیرقابلپیشبینی منجر شوند، یا تغییراتی که ممکن است بر زیرساخت، سرویسها، یا میاناهای برنامهسازی کاربردی خارجی شما تأثیر بگذارند.
A/B Testing به شما امکان میدهد چندین نسخه از یک ویژگی یا عنصر برنامه را ارائه دهید، برای مثال، بهروزرسانی ظاهر و حس میانای کاربر، تغییر متن آگهی، بهروزرسانی سطح دشواری بازی. سپس میتوانید انواع مختلف را درمعرض دید کاربران قرار دهید تا متوجه شوید کدام گزینه براساس سنجه انتخابی شما (مانند تعامل کاربر، کلیکهای آگهی، و درآمد) نتایج بهتری بههمراه دارد.
از A/B Testing برای تصمیمگیری مبتنی بر داده، بهینهسازی، و درک اولویتهای کاربران استفاده کنید. این نوع آزمایش برای موقعیتهایی که چندین گزینه قابلمقایسه و اهداف بسیار خاصی دارید عالی است. برای مثال، A/B Testing برای تغییراتی مناسب است که میخواهید برنامهتان را برای بهبود سنجهای خاص اصلاح کنید، مثلاً آزمایش اینکه کدام جای آگهی برنما منجر به کلیکهای بیشتری میشود.
همچنین ایده خوبی است که عرضه Remote Config و A/B Testing را در یک استراتژی کلی ترکیب کنید: ابتدا، یک آزمون آ/ب با مجموعهای محدود از کاربران ایجاد کنید تا متغیری را که نتایج بهینه برای سنجههای کلیدی شما تولید میکند تعیین کنید. سپس، پساز اینکه A/B Testing پیشرو را تعیین کرد، عرضه را با گونه برنده ایجاد کنید. پایداری و سنجههای کلیدی آن را همزمان با افزایش تدریجی تعداد کاربران هدف پایش کنید و پساز اینکه از عملکرد آن مطمئن شدید، آن را برای ۱۰۰٪ کاربران عرضه کنید.
درک نتایج عرضه
پساز انتشار عرضه، باید تقریباً بلافاصله نتایج را ببینید.
میتوانید نتایج را به روشهای مختلفی در کنسول Firebase مشاهده کنید:
از صفحه DevOps و تعامل > پیکربندی از راه دور > پارامترها، پارامتری را که برای «عرضه» پیکربندی کردهاید ازهم باز کنید و در زیر عرضه، روی مشاهده نتایج کلیک کنید.
از صفحه DevOps و تعامل > پیکربندی از راه دور > عرضهها، روی نام عرضه کلیک کنید.
انتخابگر برنامه در بالای صفحه DevOps و تعامل > پیکربندی از راه دور > نتایج به شما امکان میدهد نماهای برنامههای خاص را انتخاب کنید. نتایج به چند بخش تقسیم شده است:
- بخش خلاصه که درصد عرضه پیکربندیشده را نشان میدهد و امکان بازگرداندن یا ویرایش عرضه را فراهم میکند. وقتی ازهم باز شود، نمای کلی جزئیات پیکربندی عرضه و سابقه تغییر را نشان میدهد.
بخش کاربران که تعداد نصبهای متمایز برنامه را که الگوی عرضه را در گروههای زیر واکشی کردهاند نشان میدهد:
- فعالشده: تعداد نمونههای برنامه که با شرایط عرضه هدف مطابقت دارند و مقدار عرضه را واکشی کردهاند.
- کنترل: تعداد نمونههای برنامه که با شرایط عرضه هدف مطابقت دارند و مقدار تغییرنیافته را واکشی کردهاند.
- هدف: تعداد کل تخمینی نمونههایی که با شرطی که در عرضه خود تنظیم کردهاید مطابقت دارند، که باید عرضه یا مقدار بدون تغییر را دریافت کنند.
در آشنایی با عضویت در گروه عرضه بیشتر بدانید.
بخشهای Crashlytics و Analytics که دادههای مقایسهای برای گروههای «فعالشده» و «کنترل» را نشان میدهند. میتوانید دادههای جمعآوریشده را برای ۲۴ ساعت گذشته، از آخرین انتشار، یا ۷ روز گذشته فیلتر کنید. نمای پیشفرض «۲۴ ساعت گذشته» است.
Crashlytics نتیجه برای عرضه
میتوانید تعداد کل خرابیها، خطاهای غیرکشنده، و خطاهای ANR را که درطول عرضه شما رخ داده است ببینید. هر دسته نتیجه نمودار میلهای را نشان میدهد که مجموع خام کاربران فعالشده و کنترل را که شرایط عرضه را برآورده کردهاند مقایسه میکند.
- خرابیها: تعداد و درصد خرابیها و تعداد کاربران یکتایی را که خرابی را برای گروههای «فعالشده» و «کنترل» تجربه کردهاند نشان میدهد.
- غیرمهلک: تعداد و درصد خطاهای غیرمهلک و تعداد کاربران یکتایی را که با خطاهای غیرمهلک مواجه شدهاند نشان میدهد.
- خطاهای ANR (فقط برنامههای Android): تعداد و درصد رویدادهای «برنامه پاسخ نمیدهد» و همچنین تعداد کاربران متمایزی را که یک یا چند رویداد ANR را تجربه کردهاند نشان میدهد.
برای اطلاعات دقیقتر درباره ازکارافتادنها، میتوانید روی مشاهده موارد بیشتر در Crashlytics کلیک کنید. با این کار، صفحه Crashlytics با فیلتر فعال برای عرضه گامبهگامی که نتایج آن را بررسی میکردید باز میشود. نتایج عرضه در صفحه Crashlytics همه کاربرانی را که تاکنون درمعرض نوع مربوطه، فعال یا کنترل، قرار گرفتهاند اندازهگیری میکند. میتوانید انتخاب کنید که خرابیهای گروه کنترل، خرابیهای گروه فعال، یا هر دو را مشاهده کنید.
Google Analytics نتیجه برای عرضه
بخش نتایج عرضه Google Analytics، سنجههای Analytics را برای همه کاربرانی که تاکنون درمعرض گروههای «فعالشده» یا «شاهد» قرار گرفتهاند، بهصورت جزئیات و در نماهای نموداری مقایسه میکند. سه سنجه ارائه میشود:
- درآمد کل: مقدار کل درآمد، شامل درآمد آگهی و درآمد خرید، را به دلار امریکا نشان میدهد. میتوانید نتایج را فیلتر کنید تا نتایج را بهطور خاص برای درآمد آگهی یا درآمد خرید نشان دهید.
- تبدیلهای کل: تعداد خام مجموع همه رویدادهای تبدیل را نشان میدهد. میتوانید نتایجتان را براساس تبدیلی که میخواهید برجسته شود فیلتر کنید.
- کل زمان تعامل: کل زمان تعاملی را که کاربران شما با یکی از انواع عرضه صرف کردهاند نشان میدهد. کل زمان تعامل در قالب ساعت:دقیقه:ثانیه نمایش داده میشود. برای مثال، ۰۱:۳۱:۲۸. نمودار دادههای دوره زمانیای را نشان میدهد که در بالای بخش Crashlytics انتخاب کردهاید.