نکات A/B Testing

در A/B Testing به چه نکاتى توجه کنیم؟

من و محمد هر روز از مسیر مشترکی به دفتر کارمون میریم، دیروز یک مسیر جدید را پیشنهاد دادم که معتقد بودم زودتر و راحت‌تر به شرکت خواهیم رسید. اما محمد می‌گفت، مسیر همیشگی نزدیک‌تر است.

قطعا ما با هم کنار نمیایم(!) برای همین اون از مسیر همیشگی رفت و من از مسیر جدید، من ۵ دقیقه دیرتر به شرکت رسیدم. اگر هر کدوم کوتاه میامدیم و باهم هم مسیر می‌شدیم دیگر متوجه نمی‌شدیم کدوم مسیر بهتر است و همیشه به هم غر می‌زدیم که نه اون یکی مسیر بهتر بود!

این یک مثال روزمره از شیوه‌ی آزمایش A/B Testing بود که در ادامه دقیق‌تر درموردش صحبت می‌کنیم. اما یک سوال مطرح می‌کنم در موردش فکر کنید و بعد از خوندن مقاله جواب سوال را بدهید. بنظرتون راه محمد بهتر بود یا راه من، که ۵ دقیقه دیرتر رسیدم به کار؟

A/B Testing چه کاربردى دارد؟

هر کسی هر روز صبح که از خواب پا میشه یه سری ایده داره که فکر میکنه بهترین ایده‌ی دنیاست، اما واقعیت اینه که تا وقتی ایده‌ی شما مورد آزمایش قرار نگیرد، متوجه نخواهید شد که پیشنهادتون برای طراحی نسخه جدید محصول درست بود یا نه.

در این شیوه کاربران به طور تصادفی به دو گروه تقسیم می‌شوند و در شرایط یکسان، نصفی از کاربران نسخه اول و نصفی دیگر نسخه جدید محصول را می‌بینند، سپس بر اساس آمار‌هایی که از رفتار کابران دریافت می‌کنیم تصمیم می‌گیریم که از این به بعد به راه محمد بریم یا پرهام.

توجه به چه نکاتى در A/B Testing مهم است؟

ما هر هفته کلی تست مختلف روی سایت‌هامون میگیریم و بر اساس بازخورد کاربران طراحی را جلو می‌بریم. در یک سال و نیم گذشته تجربه‌های خوبی بدست آوردم که شاید به کار شما هم بیاید.

توی تاریکی راه نرید

هرکاری که انجام می‌دهید را بسنجید، نگذارید هیچ کاری بدون بررسی برای همه کاربران فعال شود حتی اگر اید‌ه‌ی مستقیم مدیر عامل بود. در بیزینس‌های بزرگ کارهای مختلفی همزمان روی یک پروژه انجام می‌شود، فرض کنید همان روزی که تیم طراحی صفحات خرید را تغییر داده‌اند، تیم مارکتینگ کلی از بنر‌های تبلیغاتی را گرفته ولی قیمت‌ها را هم زیاد کرده‌اند. این سه عامل روی فروش تاثیر می‌گذارند و سه حالت به وجود می‌آید:

  1. فروش کم می‌شود، آیا تقصیر طراحی جدید است یا افزایش قیمت؟
  2. فروش زیاد می‌شود، آیا بخاطر بنر‌های تبلیغاتی شهر بوده یا به خاطر ساده شدن روند خرید درطراحی جدید؟
  3. فروش تغیری نمی‌کند! بله ممکن است تغییرات همدیگر را خنثی کرده باشن، بنر‌های تبلیغاتی توی شهر بازدیدکننده را آورده باشند ولی طراحی بد همراه با افزایش قیمت باعث شده باشد جلوی فروش گرفته شود.

در این مثال هم تیم طراحی و هم تیم مارکتینگ به هر حال سر خورده می‌شوند-فرقی ندارد کدام یکی از سه حالت رخ دهد!- بخاطر اینکه اگر موفق شده باشند هر تیم، موفقیت را حاصل زحمات خودش میدونه و در نتیجه کسی متوجه نخواهد شد موفقیت واقعی برای کدوم تیم-یا هر دو- بوده است.

و اگر موفق نشوند باز هم سرخورده می‌شوند و از هم انتقاد می‌کنند که مشکل از تغییر شما بوده است. از همه بدتر مدیر بیچاره است که نمی‌داند حالا باید قیمت را پایین بیاورد یا طراحی را به حالت قبل بازگرداند!

ab-test-diagram-02

به نظرم دو نکته مهم در این مثال وجود داشت که باید به آن دقت کرد:

  • در هر آزمایش یک تغییر بیشتر نداشته باشید: اگر تغییرات شما روی صفحه(یا صفحات) زیاد باشد دیگر متوجه تاثیر تغیرات نمی‌شوید و ممکن است تغیرات شما همدیگر را خنثی کنند و در واقع خشک و تر باهم می‌سوزند!
  • طرح جدید و قدیم را همزمان و در شرایط یکسان مورد آزمایش قرار بدین: اگر در مثال قبل تیم طراحی، طرح جدید را فقط برای ۵۰٪ کاربران فعال کرده بود دیگر می‌توانست تاثیر کار خودش را به راحتی از تیم مارکتینگ جدا کند و اگر موفق بود به راحتی تقاضای پاداش کند(:دی) و اگرم موفق نبود بدون ضرر تغیرات را به حالت قبل بازگرداند.
    اما موضوع همیشه فقط تداخل با تیم های دیگر نیست، ما همین تجربه را روی سایت آپارات به شکل دیگری داشتیم، مشکلی که بوجود آمد این بود که روزانه چند هزار ویدیو جدید روی سایت بارگذاری می‌شود و کاربران نسبت به تغییر عکس و عنوان ویدیوها خیلی واکنش نشان می‌دهند و امکان ندارد روی یک لیست ویدیو بدون A/B Test-در واقع همان آزمون همزمان- بفهمیدم که کدام طراحی بهتر است. اگر تغیرات همزمان بررسی نمی‌شد متوجه نمی‌شدیم که تغییر آماری بخاطر ویدیو‌های جدید بوده یا بخاطر تغییرات تیم طراحی است.
    در مثال من و محمد، اگر امروز از مسیر جدید می‌رفتیم و زمان رسیدن را با روز قبل مقایسه می‌کردیم باز هم مقایسه درستی نبود چون ترافیک در روز‌ها و ساعات مختلف متفاوت است. پس بهترین کار این بود که در شرایط یکسان مسیرها را آزمایش کنیم.

عدالت مهم است!

معمولا در تیم‌ها کسی که نظرش برش بیشتری دارد-مدیران یا کسانی که قدرت تحلیل قوی‌تری دارند- مورد تایید عموم قرار می‌گیرد اما واقعا، همیشه نظرشان درست است؟ قطعا نه!
با این شیوه می‌شود بدون ایجاد ناراحتی نظرات مختلف را آزمایش کنید و بر اساس آمار تصمیم بگیرید. اینطوری هم بهترین ایده اجرایی شده و هم کسی دلخور نمیشه که به نظرش توجه نشده و روابط تیمی استحکامش را از دست نمیده. مطمئن باشید ایده‌هایی که اصلا انتظار ندارید هم ممکن است پیروز شوند!‍

گفتم حتی ایده‌های مدیران را هم بسنجید ممکن است مدیران ناراحت بشوند یا شما خجالت بکشید به آن‌ها بگید که ایده‌یشان را میخواهید بسنجید اما می‌توانید با لحنی متفاوت بگید که برای اینکه تاثیر ایده‌یتان را ببینیم بیایید از A/B Test استفاده کنیم. اگر هم نتیجه بد شد مدیران خوشحال میشن که جلوی ضررشون را بگیرن، نگران نباشید.
با توجه به این قسمت حتما نگران زمان شده‌اید، آره؟

زمان خود را هدر ندهید

یکی از مهم‌ترین موضوعات برای همه‌ی تجارت‌هایی که در بازار رقابتی کار می‌کنند زمان است. ممکن شما کلی ایده‌های مختلف داشته باشید تا روی محصولتان پیاده کنید اما طراحی و اجرای با کیفیت این ایده‌ها وقت زیادی می‌گیرد. حالا فرض کنید بعد از اینکه کلی هم روی ایدتون کار کردید و اجرا شد ببینید که اصلا خوب نبوده و همان طرح قبلی تاثیر گذارتر و بهتر عمل کرده. در شرکت ما انجام سریع کار‌ها خیلی مهم است، برای همین به یک راه حل خوب رسیدیم: روی ایده‌های جدید به اندازه‌ای که بتوان ازشون تست گرفت کار می‌کنیم، اگر نشانه‌هایی از موفقیت در آن‌ها دیدیم، وقت میذاریم و ایده‌یمان را تکمیل می‌کنیم. البته یکسری از ایده‌ها وابسته به جزییاتشون هستن، که این روش برای آن ایده‌ها مناسب نیست.

هر تغیری یک شُک اولیه دارد

وقتی تغیری می‌دهید، نمودار‌ها تغییرات عجیب غریبی می‌کنند، ممکن است شما را هیجان زده و یا ناامید کنند اما بگذارید آب‌ها از آسیاب بیافتد و شُک تغیرات بخوابد. زمان مشخصی برای عادی شدن اوضاع نمی‌توان داد خیلی بستگی به آمار بازدید کنندگان و حجم تغیرات دارد بعد از یه مدتی تست گرفتن، حداقل زمانی که برای تصمیم گیری روی هر تست نیاز دارید دستتون میاد. پس عحله نکنید.

به نمودار‌های زیر دقت کنید، شُک تغییرات تقریبا تا سه روز اول در هر دو نمودار وجود دارد و بعد از آن نمودار تغییرات طبیعی می‌شود:

نمودار تغییرات A/B Testing نمودار تغییرات A/B Testing

کاربران را دیوانه نکنید

فرض کنید شما تغیری روی صفحه اصلی داده‌اید، کاربری وارد سایت شما می‌شود و ممکن است چند بار در چرخش از صفحه اصلی عبور کند، این کاربر نباید هر سری که صفحه را باز می‌کند طرح جدیدی را ببیند! اینطوری هم کاربر را دیوانه می‌کنید هم دیگر نتیجه تست قابل اطمینان نیست. کاربران را در گروه‌های مشخصی نگه دارید تا پایان آزمون، همان نسخه‌ی A یا B که برایشان از اول مشخص شده را نشان بدهید. این کار را یا بر اساس ID کاربران یا کوکی به راحتی می‌توانید انجام بدین.

نرخ تبدیل یا درصد تغیرات مهم است نه اعداد خام

در تست معمولا تعداد کاربران دقیقا نصف به نصف بین نسخه‌ها تقسیم نمی‌شود و برای همین باید نسبت تعداد بازدید کننده را به تعداد کسانی که عمل مورد نظر مثلا خرید را انجام داده‌اند را بسنجید. به عنوان مثال ۱۰۰ نفر از نسخه A بازدید کردند و ۵ نفر خرید کرده‌اند در این صورت نرخ تبدیل (۵/۱۰۰)*۱۰۰ = ۵٪ است. حالا فرض کنید ۷۰ نفر نسخه B را دیده اند و فقط ۷ نفر خرید کرده‌اند، در ظاهر بنظر میاد تغییر شما همچین تاثیر گذار هم نبوده ولی شما باعث شدید فروش دو برابر بشه! شما نرخ تبدیل را از ۵٪ رسوندین به ۱۰٪ درصد، این واقعا موفقیت بزرگی به حساب میاد!

معیار‌های اندازه‌گیری را مشخص کنید

سوالی را اول مقاله مطرح کردم، در موردش فکر کردید که آیا راه محمد بهتر بود یا راه من که ۵ دقیقه دیرتر به دفتر رسیدم؟ احتمالا فکر می‌کنید جواب مشخص است “راه محمد نزدیک‌تر بود” اما به این سوال نمیشه جواب داد تا وقتی معیار اندازه‌گیری شما مشخص شود. آیا موفقیت وقتی است که
“ویدیو‌های بیشتری شروع به پخش شوند یا اینکه آدم‌ها زمان بیشتری را به ویدیو دیدن بپردازند؟” یا “ساخت حساب کاربری بیشتر بهتر است یا عضویت در خبرنامه هفتگی؟”.

باید بدونید که تعریف موفقیت در تجارت شما چیست و معیار مشخص اندازه‌گیری و ارزشگذاری داشته باشید، ساخت حساب کاربری یک ارزشی دارد و عضویت در خبرنامه ارزشی دیگر. هر تغییری می‌تواند روی بعضی بخش‌ها تاثیر مثبت و روی بخشی دیگر تاثیر منفی بذارد. مجموعه ارزش‌ها نتیجه واقعی را به ما نشان می‌دهند.

در مثال مسیر من و محمد، من راه جدید را ترجیح میدم-حتی با در نظر گرفتن ۵ دقیقه اختلاف- بخاطر اینکه مسیر من راحت تر بود و با یک تاکسی به مقصد می‌رسیدم اما مسیر محمد باید دو تا تاکسی سوار می‌شد و تاکسی گرفتن زیر پل پارک‌وی کار سختی است! اما اگر دیرمون باشه مسیر محمد، مسیر بهتری است. پس نسبت به موقعیت و نوع تجارت کاریتان باید تصمیم بگیرید که آیا نسخه A برای شما بهتر است یا نسخه B.

پی‌نوشت: ابزارهای مختلفی برای A/B Testing وجود دارد که در مطالب بعدی در موردشون خواهم نوشت.

منتشرشده توسط

پرهام خوشبخت

طراح تعاملی رابط کاربری

3 دیدگاه برای «در A/B Testing به چه نکاتى توجه کنیم؟»

  1. خیلی مطلب خوبی بود و خیلی خوب جزییاتی که پروژه ها درگیرشن رو گفته بودی پرهام.
    این که به کاربر به دید یه موش آزمایشگاهی نگاه نشه مهمترین چیزه (همون افراط و تکرار تو تست ها) تو این آزمون که گفتی و اینکه تو همه توسعه ها هم نمیشه این کارو کرد و بعضی موارد رو باید از روش های دیگه بری آزمایش کنی.
    برای پروژه های پر بازدید مثل آپارات خیلی خوب میشه مانور داد ولی حتی واسه پروژه های کوچیک تر و به نوعی محدودتر هم با دوستان و اطرافیان و همکارا هم میشه این کارو کرد هرچند شاید آماری که میده جامع نباشه ولی بازخورد کاربرای مختلف رو میشه فهمید.
    در مورد سوالتم من عقیدم اینه زندگی نباید رو تکرار بره جلو و آدم باید راههای جدید رو امتحان کنه و بعضی وقت تو مسیری که هستی چیزهایی رو کشف میکنی و تجربه میکنی که شاید ارزش از دست رفتن چیزای برتر مسیر بهینه رو داشته باشه .
    هرچند که بعضی وقت ها و البته نه به تکرار باید تو بعضی شرایط کاری و شخصی بهینه ترین روش رو استفاده کرد.
    بازم مرسی واسه مطلب عالیت

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *