Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами.
Чем ее величина в сегментах больше, тем меньше разброс среднесуточных значений показателя. А при небольшом объеме исходных сведений вам потребуется более долгий эксперимент из-за большего разброса значений случайной величины. Однако это всё равно лучше, чем вовсе не проводить A/B-тест и настраивать всё наобум. Доверительное A/B-тестирование — это статистический термин, означающий измерение разницы средних параметров при помощи сравнения нескольких источников исследования. Достоверный тест возможен только тогда, когда есть достаточно пользователей, информации и времени для накопления статистики.
Зачем нужны А/B (сплит) тесты
Одним из таких методов изучения является А/В тестирование. Соответственно, если изменений не произошло, сработала нулевая гипотеза и вносить изменения бессмысленно. Если показатели выросли, альтернативный вариант победил. Это значит, что можно вносить более глобальные правки.
Минимальный размер выборки для А/Б-теста зависит еще и от длительности процесса. Если процесс затянется на месяц, то можно охватить больше потенциальных клиентов, так как при негативном исходе влияние на прибыль будет менее ощутимо в долгосрочной перспективе. Постоянно тестируем новые гипотезы, стратегии, креативы. А/В-тестирование — неотъемлемая часть качественной работы маркетолога.
Кому пригодится проведение A/B тестов
На практике правильно выстроить бизнес‑процесс применения АБ и позиционирования его внутри компании едва ли не сложнее, чем создать правильную статистическую методологию. Все хотят, чтобы покупателей было больше, поэтому стремятся писать более крутые заголовки, ставить красивые иллюстрации, удивлять людей интересными предложениями. Чем привлекательней сайт или лендинг — тем больше заявок вы получите.
Используя его, можно проводить A/B/n-тестирование, то есть проверять сразу несколько гипотез вместо двух. Проверить гипотезы можно с помощью статистических тестов. Он помогает работать с небольшими объемами данных, допустим, для среднесуточных значений. После этого воспользоваться одним из специальных сервисов. Оценку итогов можно проводить через две недели после запуска теста или дольше, если тест опирается на небольшой объем данных.
Многовариантное тестирование
Какими бы успешными не представлялись кейсы сплит-тестов, тиражировать их бессмысленно. Каждая проблема в каждом конкретном случае решается индивидуально, исходя из ниши, проведенных исследований, сформулированных гипотез. Но посмотреть на примеры все равно полезно – можно найти свежую идею, проверить «чуйку» а заодно и увидеть, что результаты могут быть неожиданными. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии.
- Эта разновидность теста эффективна в случае точечных изменений, не затрагивающих глобально работу сайта.
- Начните с наиболее важной страницы для показателя, который вы хотите улучшить.
- Но достоверность такого эксперимента будет иметь заметные погрешности.
- Также нужно оценить, в какую сторону изменилось значение метрики в варианте B — положительную и отрицательную.
- Но по крайней мере на первый взгляд, автоматическая стратегия показывает себя лучше в рамках данных метрик.
- Чтобы принимать решения об эффективности теста, выбирают уровень значимости 90, 95 или 99%.
Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования. В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу аб тестирование это регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей. Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.
Шаг 2. Выбор метрики
A/B-тестирование — универсальный, надежный и проверенный метод маркетингового исследования. При соблюдении условий проведения можно получить объективное понимание, как нужно улучшить продукт. Для получения максимально объективных данных A/B-тестирование нужно комбинировать https://deveducation.com/ с другими маркетинговыми исследованиями. Самый популярный инструмент для проведения А/Б тестов. Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта. Вы уже узнали, что сплит-тесты помогают повысить отдачу страниц.
Ведь не исключен вариант, что, например, ваш сайт мешает продажам, а не стимулирует их, потому что, например, вводит людей в заблуждение и нивелирует их интерес к вашему продукту. Для максимальной эффективности вам нужны точные данные, которые отображают, как ваша аудитория реагирует на конкретные элементы вашего сайта. Один из самых популярных примеров A/B тестирования — 41 оттенок синего, когда Google не могли решить, какой из двух синих цветов они предпочитают для определенного элемента дизайна. По некоторым данным, они использовали A/B тестирование для оценки привлекательности 41 различных оттенков синего. Кроме того, ознакомьтесь с 7 невероятными примерами A/B тестов, проводимых реальными компаниями — примеры A/B тестирования промышленного уровня. После завершения исследования мы можем проанализировать результаты.
Инструменты для настройки тестов
Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование. Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность.
На Flexbe есть удобный функционал для проведения А/Б тестирования. Оно настраивается на уровне секции — на одной странице может работать несколько тестов в разных секциях. Теперь проверяем, все ли метрики, необходимые для оценки результатов, мы фиксируем. Вам нужно наглядно видеть все взаимосвязанные KPI, по которым в конце теста предстоит делать выводы.