A/B-тестирование

A/B-тестированиеСплит-тестСплит-тест (A/B-тест) — метод сравнения двух или более вариантов страницы, оффера или креатива, при котором трафик случайно делится между ними, а победитель выбирается по целевой метрике. (A/B testing, сплит-тест) — это контролируемый эксперимент: аудитория случайно делится на две группы, одна видит вариант A (контроль, обычно текущий), другая вариант B (с одним изменением). По результатам сравнивают конверсию, стоимость целевого действия или ROIROIОкупаемость: сколько процентов прибыли принесли вложения., и решают, что оставить в работе.

Как это работает

Сначала формулируют гипотезу и выбирают одну метрику успеха, например CRCRCR (Conversion Rate) — конверсия: доля посетителей или кликов, которые выполнили целевое действие, например регистрацию, депозит или заявку. в депозитДепозитДепозит — перевод денег от игрока или клиента на его счёт у оператора казино, букмекера или биржи, после которого средства доступны для ставок и торговли. или апрувАпрувДоля заявок, которые колл-центр подтвердил.. Меняют один элемент: заголовок, кнопку, порядок блоков лендингаЛендингЛендинг (landing page) — одностраничный сайт, на который ведёт рекламный трафик, с одной целевой задачей: получить лид, регистрацию, депозит или покупку., первый экран креативаКреативКреатив — рекламный материал (баннер, видео, текст, нативный блок), который показывают пользователю в трафиковом канале, чтобы привлечь его на оффер или лендинг., сумму бонуса в тексте. Трафик распределяют случайно и одновременно, иначе сезон, время суток и источник исказят результат. Затем ждут достаточного объёма данных и проверяют статистическую значимость (p-value или доверительный интервал).

Где встречается

В гемблинге и беттинге тестируют прелендингиПрелендингПрелендинг — промежуточная страница между рекламой и посадочной страницей оффера, которая прогревает пользователя и повышает конверсию или проходит модерацию., баннеры, порядок бонусов и тексты регистрации. В криптовалютах и финтехе — формы KYC-онбординга и тексты на кнопках подтверждения, которые влияют на отсев. В дейтинге проверяют заголовки и фото в анкетах. В нутре тестируют заголовки, отзывы и формат видео, но здесь важно соблюдать ограничения на health claims площадок.

Частые ошибки

Остановка теста по первому выигрышу (peeking) завышает эффект. Тест на малой выборке дает случайный победитель. Одновременное изменение нескольких элементов не позволяет понять причину. Игнорирование сегментов: вариант может выигрывать на мобильном трафике и проигрывать на десктопе. Сравнение с разным трафиком или разными GEO делает выводы недостоверными.