АБ-тестирование: как и зачем проводится, примеры AB-тестов

Как бы банально это не прозвучало, но прогресс не стоит на месте, и если вовремя не вносить изменения не только в бизнес-процессы, но и в оформление, тебя легко могут обойти более расторопные конкуренты. А чтобы не вводить изменения вслепую, существует AБ-тестирование.

Рассказываем, что это за инструмент, зачем он нужен и как им пользоваться.

Что это такое

АБ-тестирование — это один из методов маркетингового исследования, который поможет увидеть эффективность той или иной сущности: веб-страницы, рекламного объявления, email-рассылки и так далее. Он позволяет оценить количественные показатели двух вариантов и сравнить их друг с другом.

Именно при помощи АБ-тестирования повышают конверсию ресурса, находят наиболее эффективные рекламные заголовки и многое чего еще. Суть его заключается в сравнении двух предложенных вариантов в фокус-группе еще до ввода глобальных изменений.

(Если сравниваемых вариантов больше двух, то это уже называется сплит-тестированием.)

Разберем на примере сайта.

Есть лендинг А. Ты создаешь точно такую же вторую страницу Б, меняя какой-то один элемент. Например, расположение корзины. А меняешь, потому что считаешь, что это более удобно потенциальным клиентам, и заказов будет больше.

Однако это лишь предположение, ведь реакция пользователей может быть противоположна той, на которую ты рассчитываешь. И чтобы понять, как обстоят дела в реальности, половине посетителей сайта ты показываешь первый вариант, другой половине — второй.

А потом просто нужно сравнить, в какой группе выше конверсия. Если во второй, то можно вводить предложенные изменения.

Так можно проверить буквально всё: дизайн приложений, интернет-магазинов и многое другое. Можно даже делать тестовые рассылки, меняя в них кнопки и иные элементы.

Ты можешь проводить тестирование своими силами. Также некоторые платформы предлагают встроенные инструменты для проведения эксперимента.

Так, АБ-тестирование в Яндекс.Директе представлено группами объявлений, которые позволяют протестировать для каждого предложения разные рекламные материалы, а затем автоматически показывать аудитории самые кликабельные варианты рекламы.

Зачем его проводят

АБ-тестирование помогает оценить эффективность изменений веб-страниц. С его помощью ты можешь постоянно тестировать внешний вид сайта и воплощать удачные изменения в жизнь.

Сплит-тест нужен, чтобы не вносить изменения вслепую. Ты имеешь полное право считать, что значок корзины, расположенный в другом месте, повысит продажи. Но это лишь личный опыт, и точно понять, так это или нет, поможет именно АБ тестирование.

Таким образом, его проводят для подтверждения или опровержения некой гипотезы и объективной оценки разных версий улучшения продукта. Причем это может быть не только об улучшении: АБ-тестирование может показать, как не снизить текущие показатели.

А теперь давай рассмотрим конкретные задачи, которые оно выполняет.

Помогает пользователям

Качественно проведенное АБ-тестирование помогает улучшить пользовательский опыт. Ведь корзина реально может изначально располагаться неудобно, и данные, полученные путем теста, помогут это изменить.

Обеспечивает лучшую окупаемость вложений

С помощью АБ-тестирования ты сможешь максимально эффективно использовать существующий трафик и повысить конверсию без каких-либо затрат на привлечение нового.

Снизить количество отказов

Все мы разные, и приходим на сайт с разными целями. Но если периодически проводить АБ-тестирование, можно выйти на ту точку, где будет меньше всего отказов от всех пользовательских сегментов.

Снизить риски при вводе изменений

Благодаря АБ-тесту ты не просто вводишь изменения, потому что считаешь, что так будет лучше. Ты проводишь анализ и далее уже вводишь их или ищешь что-то новое на основе реального пользовательского поведения.

Это также поможет улучшить такие показатели как CTR, процент брошенных корзин и другие статистические данные.

Модернизировать дизайн

Опять же, это не просто видение дизайнера. Благодаря АБ-тестированию ты можешь понять, что именно нравится пользователю, какой вариант ему удобнее, интереснее и т.д.

Примеры АБ-тестирования

Приведем несколько примеров компаний, которые активно используют АБ-тестирование для развития бизнеса.

(Описываем их просто для вдохновения. Полученные другими компания данные использовать нет смысла, так как у тебя они могут дать совершенно противоположный результат.)

Netflix

Постоянно тестирует все изменения. Компания персонализирует основную страницу и не только, чтобы каждому пользователю было комфортно.

И все это не на основании простых мыслей, а только после проведения АБ-тестирования, ориентируясь на прошлые действия пользователя на сайте.

Amazon

В конце 90-х годов на сайте появилась возможность заказать товары в один клик. Появилась она после долгих тестов.

Достаточно было раз ввести все данные, и далее уже просто добавляешь товары в корзину и заказываешь. Это оказалось настолько удобно, что клиенты перестали покупать на других сайтах.

POSist

Крупная платформа управления ресторанами на базе SaaS.

Основная цель одного из крупных экспериментов была уменьшить отказы с главной страницы и страницы с контактами. В итоге сделали для каждой из этих страниц по два варианта интерфейса.

Сначала протестировали первый вариант с контрольным — победил первый. Затем с ним сравнили второй вариант, и тогда уже победил второй — посещения страницы выросли примерно на 5%.

Как провести АБ-тестирование: пошаговая инструкция

А теперь разберем, как правильно проводить тестирование.

Определение цели и составление гипотезы

Без этого даже начинать не стоит. Просто сравнить два варианта интересно, но бессмысленно.

К примеру, у тебя свой интернет-магазин, и цель твоя увеличить количество заказов. Ты считаешь, что этого можно добиться, добавив в заголовок слово «подарок». Это нужно проверить. А вот запускать АБ тест, который никак не повлияет на конечную цель, не стоит. То есть наличие цели и гипотезы, которая к этой цели может привести, обязательно.

Для правильной интерпретации результатов выделяют два вида гипотез:

• нулевая — изменения никак не влияют на результат;
• альтернативная — проводимые изменения приведут к конечной цели.

Определение метрики

Теперь тебе нужно определиться с метрикой, на которую ты будешь ориентироваться, чтобы интерпретировать результат тестирования. Чаще всего это конверсия, но может быть и показатель кликабельности, время, проведенное на сайте и другие показатели.

Обязательно ориентируйся на цель. И снова для лучшего понимания. Допустим, ты продаешь курсы № 1, 2, 3. И сейчас основная цель продать курсы под номером 3. Значит, при сравнении результатов ты будешь анализировать именно число проданных курсов № 3.

Выбор элемента тестирования

Выбери основной элемент тестирования.

Ты можешь проверять цвет, заголовок, расположение элемента или что-то еще, но не все вместе. Такой подход даст более четкие результаты.

Но можно использовать и мультивариантное тестирование. Принцип тот же, только проверяется более двух вариантов одновременно. Тестировать можно любой элемент на странице: цвет, заголовок, текст призыва и т.д.

Определение выборки

Теперь нужно определить, кто будет участвовать в проведении тестирования — контрольную и экспериментальную группы.  Ответь на вопрос. какие пользователи будут участвовать — новые или постоянные?

Важно: если меняешь дизайн, и выбираешь только «стареньких» пользователей, велик шанс, что гипотеза не оправдается просто потому, что человек привык уже к определенной картинке, и новое ему ни к чему. Также выбери, по каким признакам будешь разграничивать аудиторию (регионы, пол, возраст и т.д.).

А ещё необходимо заранее определить объем выборки, то есть сколько пользователей будут принимать участие в эксперименте.Для этого можно воспользоваться специальными калькуляторами, например, tools.driveback.ru.

Допустим, конверсия была 12% и минимальный видимый эффект тоже 12%. Значит, в каждой группе должно оказаться минимум 8115 пользователей. После этого тест можно остановить, а можно продолжить. А вот прерывать его до того, как достигнешь указанного порога, нельзя.

Когда тестирование завершится, в том же калькуляторе можно проверить значимость результатов.

Определение продолжительности АБ теста

Чтобы определиться со временем, нужно знать трафик.

Допустим, в среднем твой сайт посещает 1000 человек в день. При условии, что нужно 8115 пользователей только для одной группы, эксперимент должен длиться 17 дней (мы разделили общее число пользователей на трафик и округлили полученный результат).

После запуска тестирования останавливать его нельзя, даже если кажется, что все уже понятно. Реальные данные, полученные в итоге, могут кардинально отличаться от того, что ты видел в начале.

Важно: минимальный срок АБ тестирования — неделя. Это делается, чтобы исключить отличие в поведении пользователей в зависимости от дней недели.

Старайся не проводить тест в период летних отпусков, предпраздничной суеты или при резких экономических изменениях

Проверка однородности аудитории

Это очень важный этап тестирования. После запуска поток посетителей сайта будет делиться на две группы, и важно, чтобы они были максимально похожими, чтобы не оказывать влияние на чистоту эксперимента.

Проверить однородность аудитории несложно: просто проведи А/А тестирование, то есть покажи двум группам одну и ту же страницу. Если конверсия будет одинаковой, все хорошо — можно начинать тест. Если же конверсия одной и той же страницы в двух группах будет отличаться, значит, аудитория неоднородна, и смысла в АБ-тестировании нет.

Запуск тестирования

Если сомнений в правильной подготовке нет, можешь запускать АБ-тестирование.

Обязательно проверь, что все работает, и не забывай это делать периодически в процессе всего эксперимента. Следи, чтобы тест не показывал неправдоподобно резкие отличия.

Например, конверсия одной страницы 0%, а другой 10% означает, что на первой просто что-то не работает. И самое главное — не анализируй результаты до завершения теста. Как говорилось ранее, даже если в начале уверенно побеждал вариант А, на выходе может оказаться, что выиграл вариант Б.

Анализ результатов

После проведения тестирования наступает самое интересное — время анализировать результаты. Это можно сделать самостоятельно или с помощью онлайн-калькулятора, например, все того же tools.driveback.ru.

В итоге у вас может быть один из двух результатов:

• изменений не произошло, или вариант А показал лучший результат;
• вариант В показал лучшие результаты.

В первом случае важно исключить, что никакие случайные факторы не повлияли на эксперимент. А далее можно проанализировать, почему гипотеза не подтвердилась. Возможно, это связано с негативным клиентским опытом или откровенно неудачным брендингом.

Во втором случае можно провести тестирование на всех пользователях или уже просто внедрить изменения.

Аналитические инструменты для АБ-тестов

Конструкторы сайтов могут иметь собственные встроенные инструменты для проведения таких тестов.

Например, АБ тестирование Фейсбук поможет тебе проанализировать рекламную кампанию в Ads Manager. Также существуют инструменты, которые помогут тебе провести тестирование.

Калькуляторы онлайн

Очень хороший помощник при проведении тестирования. Просто подставляй значения и получай готовые расчеты и расшифровку результатов.

Google Optimize

Один из самых популярных инструментов среди маркетологов. Одновременно может тестировать несколько гипотез. Минимальный срок тестирования две недели, максимальный — три месяца. Результаты можно загрузить в Гугл Аналитикс для удобства анализа.

Сервис бесплатный.

Optimizely

Один из популярнейших платных инструментов. Есть возможность создавать эксперименты в визуальном интерфейсе. Поддерживает многостраничные тесты.

Стоимость пользования нужно запрашивать у представителей платформы.

Changeagain.me

Есть удобный визуальный редактор, возможность настраивать таргет по гео и типу мобильных устройств пользователей.

Можно формировать цели. Платформа интегрируется с Google Analytics.

Vwo.com

Зарубежный сервис для проведения тестирования. Можно проводить мультивариантное тестирование и раздельный тест URL-адресов.

Также есть встроенный редактор.

Unbounce

Отличный инструмент для базового тестирование. Идеален для теста лендингов, созданных в нем.

Есть визуальный конструктор и редактор. 

Заключение

A/B-тестирование — мощнейший инструмент в маркетинге, который поможет оптимизировать сайт и увеличить целевые показатели. С его помощью ты не будешь терять деньги на внедрение изменений, которые в лучшем случае окажутся бесполезными.

А ещё ты сможешь проверить эффективность совершаемых действий и на практике узнать, стоит ли менять конкретный элемент, или лучше сфокусироваться на чем-то другом.

Комментарии (0)