Распространённые ошибки и лучшие практики
Один из самых полезных шагов курса. Разберём, какие ошибки чаще всего совершают даже опытные специалисты, и как их избегать — с реальными примерами из практики.
Топ-8 ошибок A/B-тестирования
Peeking — смотреть результаты раньше времени
Ты можешь увидеть «победу» случайно и остановить тест. Вероятность ошибки вырастает в разы.
Никогда не останавливай тест, пока не набралось рассчитанное количество пользователей + прошёл минимум 1 полный бизнес-цикл (обычно 7-14 дней).
Слишком маленький размер выборки
Результаты получаются случайными. Ты внедряешь изменения, которые на самом деле ничего не дают.
Всегда рассчитывай выборку заранее (Evan Miller / Mindbox) и жди, пока она наберётся.
Игнорирование guardrail-метрик
Главная метрика выросла, но при этом выросла нагрузка на поддержку или упал LTV.
Перед запуском определяй 2-4 защитные метрики и останавливай тест, если они сильно просели.
Тестирование нескольких изменений сразу
Ты не понимаешь, какое именно изменение сработало.
Тестируй одно изменение за раз (или используй многофакторные тесты на продвинутом уровне).
Не учитывать сезонность и внешние события
Тест шёл во время Черной пятницы или праздников — результаты искажены.
Запускай тест минимум на 1-2 полных недели. При сильной сезонности — сравнивай с тем же периодом прошлого года.
Множественное тестирование
Чем больше тестов запускаешь, тем выше шанс, что хотя бы один «выстрелит» случайно.
Используй поправку Бонферрони или False Discovery Rate (FDR). Или запускай не больше 5-7 тестов одновременно.
Novelty effect (эффект новизны)
В первые дни новая версия лучше, потому что она новая. Через 2 недели эффект исчезает.
Смотри результаты минимум через 7-10 дней и проверяй долгосрочный эффект (holdout-группа).
Плохая документация
Через месяц никто не помнит, зачем запускали тест и какие были критерии.
Перед каждым тестом заполняй одностраничный документ: гипотеза, метрики, MDE, критерии успеха, ответственные.
7 лучших практик
Ключевые правила, которые используют компании вроде Яндекса, Ozon и VK. Каждый пункт — что это, почему работает и как внедрить.
Фиксируй всё до запуска
Запиши абсолютно всё в одном месте: гипотезу, метрики, MDE, критерии успеха, сроки, кто отвечает за анализ. Без фиксации люди часто меняют правила на ходу. Команды с фиксированными планами получают на 20-30% больше надёжных результатов.
Как внедрить: Создай шаблон в Google Docs или Notion (1 страница). Заполни перед запуском и поделись с командой. После теста вернись и сравни с результатами.
Делай A/A-тесты регулярно
Запускай тесты, где обе группы видят одинаковую версию. Если метрики отличаются — значит, в системе баг. Это как калибровка весов перед взвешиванием.
Как внедрить: Выдели 5-10% трафика на A/A. Запусти на 1-2 недели. Если p-value > 0,05 — система в порядке.
Приоритизируй тесты по RICE
Оцени каждую гипотезу: Reach (охват), Impact (влияние), Confidence (уверенность), Effort (усилия). Без приоритизации ты тратишь ресурсы на мелкие изменения, пока большие идеи ждут.
Как внедрить: Собери список гипотез в таблице. Оцени каждый пункт по шкале 1-10. Посчитай балл и сортируй по убыванию.
Всегда смотри на доверительный интервал
Не полагайся только на p-value. Если интервал от -1% до +9% — не внедряй, эффект может быть отрицательным. Это снижает ложные положительные на 50%.
Как внедрить: В калькуляторах или Python всегда выводи интервал. В критериях успеха запиши: «Интервал полностью > 0 и > MDE».
Делай holdout-группу
Оставляй 5-10% пользователей вне тестов. Через 1-3 месяца сравни их метрики с внедрённой версией, чтобы измерить долгосрочный эффект. Многие «победы» теряют эффект со временем.
Как внедрить: При разделении трафика выдели holdout (5% в отдельную группу). Не трогай её 1-3 месяца. Сравни ARPU, retention.
Учись на каждом тесте
После каждого теста проводи ретроспективу: что сработало, что нет, почему, что узнали о пользователях. Тесты — не только про «да/нет», а про знания.
Как внедрить: Запланируй 15-30 мин встречу после анализа. Задай: «Что мы узнали? Что изменить?» Запиши в базу знаний.
Задания для закрепления
Напиши три самые опасные ошибки из списка. Для каждой: почему она опасна именно в твоей сфере и как будешь избегать?
Придумай 3 гипотезы для интернет-магазина. Оцени по RICE (1-10). Какую запустишь первой?
Создай шаблон документа для теста. Заполни вымышленной гипотезой. Что обязательно должно быть?
Опиши сценарий holdout-группы для твоего продукта: метрика, % пользователей, как измеришь через 2 месяца.
Возьми вымышленный тест. Напиши 3 insights. С кем проведёшь ретроспективу и какие вопросы задашь?
Резюме главы 6
Ошибки разрушают доверие к тестам, а лучшие практики — это системный подход: фиксируй планы, используй хитрые методы вроде CUPED, приоритизируй и учись. Всё вместе делает A/B-тестирование мощным инструментом для роста продукта.
Хотите пройти весь курс?
Это была демо-глава. Полный курс из 8 модулей с заданиями, фидбеком и разбором реальных кейсов скоро стартует.
Записаться на курс