Как правильно делать А/В тестирование

С Александром Павлютем — о сплит-тестировании как инструменте проверки гипотез при продвижении и ограничениях при его применении.

Александр Павлють — IT-адвокат, основатель и руководитель студии веб-технологий. Больше 10 лет занимается коммерческой разработкой программного обеспечения и веб-сервисов на заказ, а также бизнес-консалтингом. Специализируется на развитии малого и среднего бизнеса путем «оттехнологичивания» их рутины и дизайна коммуникаций продуктов компаний с потребителями.

  • блажь повышения конверсии сайта: А/В тестирование и CallBackHunter;
  • А/В-тестирование как инструмент получения обратной связи от гипотез: эксперимент;
  • какой трафик нужен для достоверных результатов А/В тестирования;
  • особенности использования сплит-тестирования крупным, средним и малым бизнесом;
  • как технически делается А/В тестирование, приводящее к повышению конверсии;
  • почему вам не нужно А/В тестирование, если вы выполнили домашнюю работу.

Александр Павлють в Интернет
Александр Павлють в Фейсбуке
Александр Павлють ВКонтакте
Александр Павлють в YouTube
Александр Павлють в Instagram
Александр Павлють в LinkedIn
Александр Павлють в Twitter
#apavlyut

Смотрите подкаст на видео выше, на YouTube или слушайте аудио в подкасте.  Другие выпуски подкаста «Бизнес и интернет» смотрите на YouTube или на сайте. Если вы любите аудио, слушайте подкаст «Ваш бизнес — это продажи». Чтобы получать уведомления о новых видео про продажи, подпишитесь на мой YouTube-канал. Другие видео, подкасты, интервью и статьи по продажам смотрите на моем сайте.

Тезисы выпуска (Александр Павлють):

  1. А/В тестирование — что это такое

Одно из модных сегодня направлений — повышение конверсии, думая, что это повысит продажи.
Это утверждение вырвано из контекста и тем самым обессмыслено.
Так как основной запрос бизнеса — продажи, то и цели любых воздействий на бизнес — повышение денег в кассе в конечном итоге.
В ожидании быстрых результатов повышения прибыльности как таковой ошибочно возлагают надежду на повышение конверсии.
Продавцы / менеджеры / консультанты / предприниматели, действуя агрессивно по направлению к некрепкому волей покупателю (создавая дискомфорт и напряжение и предоставляя запланированные пути снятия дискомфорта или напряжения через вхождения в сделку / выполнения нужного действия), получают таким образом дополнительные заявки из потока.
В обычном сформулированном предложении (любой строчкой, выражающей суть, с одной кнопкой “заказать”) продемонстрированном целевой аудитории этого предложения — конверсия всегда без примочек будет в районе 10%.

2. Зачем это нужно

Дожимать колеблющихся не надо — нужно выбирать больше ваших клиентов в потоке.
Если ты делаешь не “г” и оно кому-то приносит пользу — людей, которые просто хотят покупать, на планете предостаточно для любого бизнеса.
Инструмент А/Б тестирования нужен не для повышения продаж. Он используется для получения обратной связи на выдвинутые предположения и гипотезы.
Предположения и эксперименты используются во всех делах где, нужно проверять гипотезы.
А/Б тестирование — это эксперименты на входящем потоке с целью повышения конверсии в следующий нужный шаг воронки, с целью выявить подтвержденного победителя и после внедрить его.
А/Б тестирование помогает обосновано определиться с решениями на внедрение.
Обсуждать и делать выводы о том, сработал именно конкретный элемент или смена его характеристик на конверсию, возможно только в случае проведения экспериментов, направленных только на изменение этой характеристики, при неизменности всех остальных элементов на сайте.
Если вы меняете форму целиком (с другими текстами или кнопками или цветами), вы не можете сказать, какая часть формы привела к изменениям, можно давать суждения только тому что изменение формы целиком, в рамках композиции страницы влияет на это.
Слишком поверхностное тестирование приводит к недостаточно обоснованным выводам. Может сработать не сама форма, а факт ее спокойствия (в ощущениях) по сравнению со всей страницей например, и тд.

3. Условия проведения тестирования

Изменения и гипотезы тестируются не один раз, а минимум три-четыре раза проводить эксперименты.
Крупные компании (Амазон, Яндекс, Гугл) проводят постоянные эксперименты и получают в результате большой набор подтвержденных гипотез, из которых они могут пробовать уже делать решения.
Чем больше трафика, тем больше есть возможность увидеть и зафиксировать закономерности влияния конкретных элементов и их характеристик.
Верна зависимость: чем меньше у вас трафика, тем больше времени, помноженном на количество тестируемых элементов, вам понадобится для повышения качества результатов тестирования.
Если нет трафика — увеличиваем время эксперимента для того, чтобы увидеть динамику.
Никакие “лучше продающие цвета” нет смысла обсуждать, пока у вас не будет трафик размером с крупный интернет магазин.

4. Как это делается, как устроено

Технически делается всегда инженерами — лучше чтобы они были в штате или в прямом влиянии на эксперименты.
Технически разделяется поток, и заданному проценту показываются разные версии проверяемых элементов (гипотез) сайта.
Под наблюдением должен быть только в одновременном окружении только один эксперимент — нужно соблюдать условия идентичности состояния всего окружения в рамках тестируемого элемента.
Дальше объявляется победителем тот вариант эксперимента, в котором больше всего по шкале результатов.
При настройке серии экспериментов — успешные результаты могут внедрятся автоматически с выявлением победителя.
Составная цель в Яндекс.Метрике позволяет видеть цепочки (воронки) событий которые помогут сделать “отладку” по показателям достижения следующих шагов.
Цель конверсии супер максимум выжать можно повышение на 10-15% (это нереально в среднем) на текущем трафике.
Если сильно мало продаж — это работа над увеличением входящего потока, над вашим предложением и тд.
Но не над конверсией — работа над конверсией не принесет новых продаж.
Амазон может получить + миллионы к продажам при смене цвета или расположения кнопки / текста кнопки.
А/Б тестирование — это в целом как и все компьютерное — это зеркало событий и объектов реального мира. Это старые добрые эксперименты с разными входящими данными.
Поработать над конверсией, потому что нет продаж — это несвязанные вещи.
Сам факт нахождения страницы в сети с предложением и направленным на него трафиком — дает заявки.

Category: Павлють
About The Author
- основатель и ведущий.