A/B-тестирование в маркетинге: как проверять гипотезы, а не гадать

Клиент присылает сообщение в десять вечера: «Поменяли кнопку с зелёной на оранжевую, конверсия выросла на 40%, давай везде так делать». Спрашиваю: сколько было заявок до и после. «Было 3, стало 5». Вот и весь секрет роста на 40% — это не рост, это шум, разница в две заявки на кривой погоды за окном. А ведь именно так половина рынка принимает решения: поменяли что-то, посмотрели на глаз, объявили победу. A/B-тест существует ровно для того, чтобы не гадать на кофейной гуще, а получать цифры, на которые можно опереться, не краснея перед начальством через месяц.

Что такое A/B-тест простыми словами

Сплит-тест — это когда вы показываете двум группам людей два варианта одного и того же (страницы, заголовка, объявления, кнопки) одновременно и в одинаковых условиях, а потом сравниваете, какой вариант сработал лучше. Ключевое слово — одновременно. Если вариант А крутился в понедельник, а вариант Б в пятницу, вы сравниваете не варианты, а понедельник с пятницей: разный трафик, разное настроение аудитории, может, ещё и зарплата у людей в пятницу на счету появилась.

Механика простая: трафик делится поровну и случайно между вариантом А (обычно старый, контрольный) и вариантом Б (новый, тестовый). Каждый посетитель видит только один вариант и не знает, что участвует в эксперименте. Дальше вы просто считаете, где конверсия выше — в заявки, звонки, покупки, что угодно, что вы назначили целью до начала теста, а не после, когда стало ясно, какая цифра красивее.

Что вообще можно тестировать

Тестировать можно всё, что влияет на решение человека, но не всё одинаково полезно. По убыванию отдачи на вложенное время это обычно выглядит так:

• Заголовки и офферы. Самый дешёвый и самый мощный рычаг. Один и тот же товар с формулировкой «ремонт квартир под ключ» и «сделаем ремонт, который не придётся переделывать» — это два разных бизнеса по конверсии.
• Кнопки и призывы к действию. Текст на кнопке («Оставить заявку» против «Узнать цену»), цвет, размер, место на странице.
• Цены и условия оплаты. Рассрочка против скидки, «от 25 000 ₽» против «25 000 ₽ за проект», годовая подписка против помесячной.
• Креативы в рекламе. Картинка, видео, текст объявления — то, что решает, кликнет человек или пролистает.
• Форма заявки. Количество полей, обязательные и необязательные поля, наличие капчи. Об этом я подробно писал в статье про как поднять конверсию сайта — форма убивает заявки чаще, чем кажется.
• Структура страницы. Порядок блоков, наличие отзывов и кейсов на первом экране или ниже.

Не тестируйте то, что почти ничего не меняет — цвет иконки в футере или шрифт в копирайте под фотографией. Это трата трафика на вопрос, который не стоит ответа.

Отдельно стоит сказать про A/B тест сайта в целом и тестирование в рекламных кабинетах — это разные истории по механике, хоть логика одна и та же. На сайте вы обычно ставите систему сплит-тестирования (или простую разводку по cookie на сервере), которая случайно показывает разным посетителям разные версии страницы. В Яндекс Директе и VK Рекламе тестирование объявлений встроено прямо в кабинет: можно запустить несколько креативов на одну аудиторию и система сама покажет, какой откручивается с лучшей ценой клика или конверсией. Плюс рекламных кабинетов в том, что трафик там купить проще и быстрее, чем ждать органических визитов на сайт — если у вас мало посетителей, тестируйте гипотезы сначала в рекламе, а на сайт переносите уже то, что подтвердилось.

Одна гипотеза, одна переменная

Здесь рынок регулярно спотыкается. Меняют заголовок, картинку и кнопку одновременно, смотрят на рост конверсии и радуются. А потом не могут ответить на простой вопрос: что именно сработало? Может, заголовок вытянул всё, а кнопка вообще мешала. В следующий раз без картинки конверсия рухнет, и никто не поймёт почему.

Тест начинается с гипотезы, а не с идеи «а давайте попробуем». Гипотеза — это формула вида: «Если мы сделаем X, то метрика Y изменится, потому что Z». Например: «Если мы уберём с формы поле "компания", то конверсия в заявку вырастет, потому что B2C-клиенты пугаются корпоративного вида формы». Такая формулировка сразу говорит, что менять (одно поле формы), что измерять (конверсию в заявку) и почему вы вообще ждёте эффекта.

Меняйте одну переменную за раз. Да, это медленнее, чем перекроить всю страницу одним махом. Зато через месяц у вас есть знание, а не смутное ощущение, что «стало вроде лучше».

Размер выборки и статзначимость без зауми

Вот тут обычно все засыпают, поэтому коротко и по делу, без формул на две страницы.

Проблема с маленькими выборками в том, что случайность выглядит как закономерность. Если у варианта А было 10 кликов и 1 заявка, а у варианта Б — 10 кликов и 2 заявки, формально конверсия Б в два раза выше. Но один человек в ту или другую сторону — и картина переворачивается. Это не тест, это подбрасывание монетки, которую подбросили три раза.

Статистическая значимость — это, по сути, ответ на вопрос: «Могла ли разница между вариантами получиться случайно, просто по игре чисел, или она достаточно большая, чтобы доверять ей как реальному эффекту?» Чем больше наблюдений и чем больше разница между вариантами, тем увереннее можно сказать «нет, это не случайность».

Практически это значит: перед тестом прикиньте, сколько заявок нужно каждому варианту, чтобы делать выводы — обычно счёт идёт на сотни конверсий на вариант, если вы ловите разницу в 15-20%, и на тысячи, если разница между вариантами всего 3-5%. Есть бесплатные калькуляторы размера выборки — вбиваете текущую конверсию и ожидаемый прирост, они говорят, сколько трафика нужно каждой группе. Не запускайте тест «на глаз» и не останавливайте его, потому что «уже неделя прошла и вроде видно разницу». Видно — не значит достаточно.

Ещё один момент, который упускают: значимость считается по количеству конверсий, а не по количеству визитов. Десять тысяч посетителей звучит солидно, но если конверсия 0,3%, это всего 30 заявок на вариант — маловато, чтобы уверенно судить о победителе. Если у вас низкая базовая конверсия, тестируйте на верхних этапах воронки — клики по объявлению, переходы на форму — там накопить статистику получится в разы быстрее, чем ждать финальных оплат.

Как не обмануть себя

Самый частый способ обмануть себя — подглядывать в результаты каждый день и останавливать тест в тот момент, когда цифры совпали с тем, что вы хотели увидеть. Это называется подгонкой под желаемый результат, и мозг маркетолога прекрасно с этим справляется без всякого злого умысла. Вы просто видите на третий день, что Б выигрывает, радостно всем рассказываете, а на десятый день разница испаряется, потому что три дня — это не выборка, это утренний кофе.

Второе — тестировать в неравных условиях. Один вариант показывали в сезон распродаж, второй — в обычную неделю. Один крутился с бюджетом в два раза больше. Один вариант ловил трафик с прогретой аудитории по ретаргетингу, второй — холодный. Разница будет, но она не про заголовок, она про условия.

Третье — тестировать слишком много вариантов сразу и потом выбирать тот, что выиграл хоть у чего-нибудь. Если у вас пять вариантов баннера, один из них почти гарантированно вырвется вперёд просто по случайности — и это не значит, что он объективно лучше остальных. Чем больше вариантов вы прогоняете, тем больше трафика и времени нужно, чтобы отличить настоящий сигнал от статистического шума.

Четвёртое — забыть, что тест меряет одну метрику на коротком отрезке пути, а не всю воронку целиком. Заголовок может поднять число заявок, но привести менее платёжеспособную аудиторию, которая потом хуже закрывается в продажу. Здесь без сквозной картины по деньгам не обойтись — я писал отдельно про то, как выстроить сквозную аналитику, чтобы видеть не заявки, а прибыль с каждого варианта.

Как считать деньги от победившего варианта

Тест ради теста никому не нужен, нужны деньги. Возьмём реальный по масштабу пример: страница услуги, два варианта заголовка.

• Вариант А (старый): «Юридические услуги для бизнеса»
• Вариант Б (новый): «Решим ваш юридический вопрос за 3 дня или вернём деньги»

Запускаем тест на 10 000 посетителей, поровну — по 5 000 на вариант.

• Вариант А: конверсия в заявку 2,1% → 105 заявок
• Вариант Б: конверсия в заявку 2,9% → 145 заявок

Разница в 40 заявок на 5 000 визитов — уже не три заявки из примера в начале статьи, это достаточный объём, чтобы посчитать значимость через калькулятор и получить уверенный «да, разница реальная», а не совпадение.

Дальше считаем деньги, а не заявки. Из заявок в оплату у этой компании обычно закрывается 30%, средний чек — 15 000 ₽.

• Вариант А: 105 заявок × 30% = 31–32 клиента × 15 000 ₽ ≈ 480 000 ₽
• Вариант Б: 145 заявок × 30% = 43–44 клиента × 15 000 ₽ ≈ 655 000 ₽

Разница — около 175 000 ₽ на тех же 5 000 визитах, без единого лишнего рубля в рекламный бюджет. Теперь масштабируем на реальный трафик сайта — скажем, у компании 40 000 визитов в месяц, то есть в восемь раз больше тестовой выборки. Если эффект удержится при том же трафике (а его стоит перепроверить ещё раз на большем объёме, прежде чем праздновать), прирост выручки в масштабе месяца — больше 1,4 млн ₽. Из одной фразы в заголовке. Вот почему тестировать дешевле, чем не тестировать: цена эксперимента — потерянная конверсия у половины трафика на пару недель, а цена его отсутствия — миллион рублей упущенной выручки, о которых никто никогда не узнает.

Частые ошибки

Тестировать без гипотезы. «Давайте попробуем красную кнопку» — не гипотеза, а угадайка. Без объяснения «почему это должно сработать» вы не сможете применить вывод в других местах сайта или воронки.

Останавливать тест слишком рано. Увидели разницу на второй день — и уже всем рассказали в чате компании. Дайте тесту набрать нужный объём, который вы посчитали заранее, а не тот, что кажется достаточным вечером в пятницу.

Менять несколько элементов сразу. Красиво выглядит новый лендинг целиком против старого, но вы никогда не узнаете, что конкретно дало эффект — заголовок, фото или порядок блоков.

Игнорировать сезонность и внешние факторы. Тест на предновогодней неделе против обычной — это сравнение ёлки с будильником, а не двух заголовков.

Смотреть только на конверсию в заявку, а не в деньги. Вариант может давать больше лидов и меньше выручки, если тянет более холодную или менее платёжеспособную аудиторию. Проверяйте эффект теста по прибыли, а не только по количеству обращений — иначе легко оптимизировать не то. Кстати, это же касается рекламных креативов: разбор того, как вообще правильно мерить, во что реально выливаются рекламные вложения, — в статье про эффективность рекламы.

Тестировать на слишком маленьком трафике. Если у сайта 200 визитов в месяц, классический A/B-тест заголовка вы будете ждать полгода. В таких случаях честнее сравнивать варианты последовательно, но большими периодами, или тестировать сначала в рекламе, где трафика можно купить быстро и предсказуемо.

Короткий вывод

A/B-тест — это не инструмент для дизайнеров, которые не могут договориться, какой вариант красивее. Это способ превратить «мне кажется» в «я знаю» и перестать терять деньги на решениях, принятых по ощущениям. Одна гипотеза, одна переменная, достаточный объём данных, честная оценка по деньгам, а не по заявкам — и вы получаете рычаг, который двигает выручку без единого рубля дополнительного бюджета на трафик. Осталось просто начать проверять, а не угадывать.