Что такое A/B тесты и как их правильно проводить?

Расшифровка выпуска

Привет, друзья. С вами снова Роман Рыбальченко, основатель агентства Roman.ua. И сегодня в машине в рамках рубрики «Роман Рулит» мы поговорим о такой важной и животрепещущей теме для каждого интернет-маркетолога, владельца интернет-бизнеса, предпринимателя, как A/B тестирование.

Почему эта тема важна? Потому что A/B тестирование окутано множеством мифов и легенд, мало кто его делает и мало кто его делает регулярно, и в итоге компании либо не делают его вовсе, либо делают неправильно.

Если ты, мой зритель, не сталкивался раньше с A/B тестированием или читал разные статьи, то вкратце, что это. Это возможность провести параллельный, одномоментный тест 2-х разных версий — 2-х разных версий объявлений, 2-х разных версий страницы на сайте. Почему параллельный? Потому что ты не сверяешь январь против февраля или 2 недели так, 2 недели эдак, а одновременно половине пользователей показывается версия A, второй половине пользователей показывается версия B. Специальный аналитический софт распределяет этих пользователей, потом замеряет, как это повлияло на результат. Например, пользователи, которым показалась версия страницы A с более высокой вероятностью покупали или пользователи, которым показывалась версия B. Подсчитывается, что этот результат является статистически достоверным. Что это значит? Что с вероятностью 95% действительно один из вариантов лучше, чем другой. Там бывают вероятности разные, но усредненная стандартная по рынку — это 95%. И софт тоже естественно бывает разный.

Большинство людей воспринимают A/B тесты, как какую-то такую штуку, типа, мы поменяли зеленую кнопку на красную и у нас подскочила конверсия в 2 раза — мы начали продавать в 2 раза лучше. К сожалению, так оно не работает. Во-первых, если у тебя нет каких-то базовых ошибок в дизайне сайта, то смена цвета кнопки ни на что не повлияет. Базовая ошибка — это разве, что если у тебя кнопка не выделяется на общем фоне, да, т.е. у тебя весь дизайн, например, в красных тонах и кнопка тоже красная и много красных элементов, и пользователь просто ее не так хорошо замечает. Если же у тебя таких базовых ошибок нет, у тебя дизайн красный, а кнопку зеленую поменяли на фиолетовую, то, скорее всего, какого-то значимого прироста в конверсиях ты не увидишь. Потому что есть вещи, которые действительно влияют на конверсию, а есть вещи, которые… простые примеры, которые где-то кто-то 10 лет назад поменял цвет кнопки или действительно на огромном магазине с огромным трафиком кнопка стала более контрастной и действительно там чуть-чуть подросла конверсия.

Если же говорить о моем опыте A/B тестирования, то A/B тестирование я провожу всегда практически, когда есть возможность, уже много лет, и я перепробовал разные инструменты для этого. Инструмент Google Content Experiments, по-моему, он так назывался. В общем, эксперименты внутри Google Analytics я использовал. Я им в принципе доволен. Сейчас появился бесплатный Google Optimize и Google Optimize — это идеальное решение для проведения A/B тестов. Почему?

Потому что, во-первых, он отлично интегрирован с Google аналитикой, т.е. они автоматом передают друг в друга данные и можно посмотреть потом результаты тестов в других разрезах или по некоторым сегментам. Во-вторых, у всех наших клиентов есть настроенная аналитика, есть настроенные цели и конверсии. Соответственно, можно посмотреть, как поменялась конверсия, не надо отдельно настраивать под инструмент. Ну и в-третьих, он бесплатный и работает достаточно хорошо.

Мы его проверяли на очень посещаемых сайтах. Мы делали так называемые A/A тесты. A/A тесты проверяют, что инструмент работает правильно, т.е. ты ничего не меняешь, показываешь инструменту 2 одинаковые страницы и если инструмент настроен правильно, он тебе скажет, что ничего не поменялось, да, никакого прироста в конверсии не произошло, мы обоим пользователям показали одинаковые страницы, нету кардинальной разницы между этим.

Так вот, Google Optimize у меня проходил A/A тесты на очень высокой посещаемости, а например Visual Website Optimizer, популярный такой инструмент для тестирования, он у меня не проходил A/A тесты, т.е. он говорил, что одна из версий A лучше, чем такая же версия A, там, порядка на 20% с вероятностью, по-моему, 80%. В общем, к их распределению трафика поровну, да, что одному пользователю показалось вот так, второму — вот так, и эти пользователи равномерно распределены, у меня были вопросы. Поэтому мы полностью перешли на Google Optimize и всем его рекомендую.

Кейс. Как собрать базу email c помощью активных popup Sumo.com

Если же говорить о том, какой у меня опыт, кейсы в проведении A/B тестов, то здесь я могу рассказать пару кейсов. Первый кейс — это когда мы тестировали надпись на кнопке и это был оптовый лендинг. Пользователи заходили, — потенциальные оптовики, — интересовались покупкой одежды оптом. И соответственно мы тестировали 2 надписи на кнопке. Одна надпись была… и подписью рядом с кнопкой: «Уже хотите получить полный прайс лист?», а вторая была, собственно: «Выслать вам полный прайс лист?». Кнопка была… текст одинаковый, прайс-лист и там, и там, но в одном случае было больше места вокруг кнопки и она была более акцентированная, да, «Выслать вам полный прайс-лист?» — это более короткая формулировка, а во втором случае вот был вариант: «Уже хотите получить…». И тут этот тест шел, наверное, я не помню, то ли 3 месяца, то ли полгода, очень долго, но в итоге подросла значительно.

Я, если получится, вот здесь мы вставим сейчас скриншот, просто насколько выросла конверсия. По памяти, это было процентов 60. Почему так? Как я себе это объясняю?

Во-первых, мне кажется, что мы нащупали действительный мотив пользователя, да, вот если определить, что действительно нужно пользователю, то совсем по-другому происходит конверсия. Мы оставим в описании еще подобный кейс, когда мы определили действительный мотив пользователя в подписке на рассылку агентства Roman.ua. В общем, здесь к нам заходили оптовики и они не хотели общаться особо, там, с менеджерами по продаже. Первым делом они хотели получить прайс-лист, чтобы понять, сколько они могут зарабатывать, сколько эти товары стоят в закупке, по чем они их могут продавать, и посчитать, будет ли это продаваться в их конкретном магазине. И соответственно «Уже хотите получить полный прайс-лист?», оно как бы предполагает, что необязательно его получит оптовик, да, «Я хочу, но не факт, что мне его пришлют», а «Выслать вам полный прайс-лист?», оно как бы уже предполагало, что действительно после заполнения этой формы полный прайс-лист оптовик получит. И конверсия, насколько я помню, подскочила где-то с 9% до 15%, т.е. очень хороший, заточенный лендинг по одному направлению с четко сформулированным предложением, преимуществами, и так далее, может иметь вот такую конверсию 15%.

Другой кейс, как мы нащупывали, что интересно тем, кто подписывается на рассылку на Roman.ua, мы оставим в описании.

Еще из таких наблюдений, тесты могут идти очень долго, т.е. в моем опыте было где-то до полугода тестирование и соответственно надо набраться терпения или же нужно тестировать более кардинально разные вещи, т.е. очень часто тесты идут долго, потому что разница незначительная, да, то есть, там, и обе гипотезы приблизительно одинаково влияют на пользователя и если разница небольшая, то соответственно и трафика мало, и событие, например, продажи случается редко, то тесты идут долго.

Что можно сделать для того, чтобы тесты шли быстрее? Это либо пустить больше трафика, либо сделать так, чтобы разница была более значительная, т.е. придумать более сильную гипотезу, которая покажет, что сразу пользователи на нее откликаются и процент этих откликов сильно выше, чем процент откликов на оригинальный наш вариант. И третий вариант — это поменять метрику, по которой мы оптимизируемся. И вот здесь интересный находится зазор для роста. То есть большинство интернет-маркетологов настраивают A/B тесты на финальную метрику, например, на конверсию в продажи или иногда даже на выполненный заказ. Это как бы хорошо, потому что каждый хочет оптимизировать, финально получить больше продаж, но A/B тесты могут идти очень долго и очень медленно. Поэтому иногда мы используем крайне промежуточные метрики, которые показывают, что человек больше заинтересовался сайтом, товарами и магазином.

Какие это могут быть метрики? Это могут быть метрики: количество просмотренных страниц за посещение. Это может быть показатель отказов. Это может быть метрика — процент людей, которые доскроллили до блока с ценами, если мы говорим про какой-нибудь, например, SaaS. То есть это метрики активности. Пользователь более активно себя повел и эта активность его показывает, что он лучше заинтересован в том, что ему показали. То есть в случае с eCommerce он посмотрел больше карточек товара или открыл карточку товара, или не произошел отказ, т.е. он просмотрел 2+ страницы или у него выросла глубина. В случае с SaaS это тоже может быть глубина. Открытие формы, доскролл до цен, открытие отзывов и так далее. То есть чем чаще случается какое-то событие, да, например, там, средняя конверсия в eCommerce — это 1%, да, но при этом, например, пользователи открывают карточку товара в интернет-магазине в 50% случаев. Так вот, чем чаще случается это событие, тем быстрее пройдет A/B тест, если действительно изменение на странице влияет на вот это событие.

Напоследок хочется добавить, что далеко не каждый твой A/B тест будет показывать какие-то важные, значимые изменения, будет приводить к повышению конверсии. Это нормально. До 8 тестов из 10, до 80% тестов могут заканчиваться ничем — ничего не поменялось. Зато вот те вот 2 теста из 10, которые привели к результату, дадут тебе, во-первых, глубокое понимание, что действительно работает на твою аудиторию и что работает на продажи, на что она откликается, что действительно важно, что не важно, и плюс позволит тебе планомерно поднимать конверсию контролируемо. Не так, что вот мы месяц назад поменяли дизайн, вроде стало лучше, а на самом деле это всё на рынке поменялось и это не заслуга дизайна, а контролируемо, четко проверять, стало лучше, стало хуже, насколько стало лучше.

Да прибудет с тобой сила классного A/B тестирования и повышения конверсии и продаж. Подписывайся на канал, пиши в комментариях, что тебе было полезно, о чем бы ты хотел еще послушать. И до новых выпусков. Пока, пока.