5 ошибок A/B-тестирования, которые убивают ваш продукт

За последние годы я провёл десятки A/B-тестов в FinTech и EdTech. Вот пять ошибок, которые встречаю чаще всего — и каждая из них может привести к ложным выводам и потерянным деньгам.

Ошибка 1: Peeking problem. Вы запускаете тест, через два дня видите +15% конверсии и останавливаете эксперимент. Проблема в том, что при малой выборке случайные колебания огромны. Решение: заранее рассчитайте необходимый размер выборки и не смотрите на результаты до достижения этого порога.

Ошибка 2: Множественные сравнения. Тестируете 5 вариантов одновременно? При уровне значимости 5% вероятность хотя бы одного ложного срабатывания — 23%. Используйте поправку Бонферрони или метод Холма для корректировки p-value.

Ошибка 3: Игнорирование сегментов. Общий результат может быть нейтральным, но при этом один сегмент получил +30%, а другой −20%. Всегда анализируйте результаты в разрезе ключевых сегментов: новые/возвращающиеся, мобайл/десктоп, платящие/бесплатные.

Ошибка 4: Тестирование мелочей вместо стратегических гипотез. Цвет кнопки даст вам +0.5% CR. Изменение ценностного предложения или pricing model — +50%. Фокусируйтесь на тестах, которые могут принести 10x результат.

Ошибка 5: Отсутствие документации. Через полгода никто не помнит, почему выбрали вариант B. Ведите лог экспериментов: гипотеза, метрика, результат, выводы, решение. Это ваша институциональная память.