(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.
Этапы A/B-тестирования
В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:
Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)
Шаг 2. Фиксирование исходных статистических данных
Шаг 3. Настройка тестирования и сам процесс
Шаг 4. Оценка результатов и внедрение наилучшего варианта
Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости
Продолжительность тестирования
Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.
Страницы для тестирования
Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:
- Самые посещаемые страницы сайта
- Страницы с дорогими визитами
- Страницы с отказами
Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.
Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:
- Выдвигается гипотеза о поведении посетителя
- Предлагается решение по изменению элементов (лучше брать 1-2, не более)
- Добавить слово «Бесплатно»
- Разместить объясняющее видео
- Приклеить кнопку регистрации к верху страницы
- Сократить количество полей в заявке
- Добавить счетчик специального предложения
- Добавить бесплатную пробную версию
- Изменить цвета кнопок или текст на них
Автоматизация тестирования
Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.
A/B-тестирование средствами Google Analytics
Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».
Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).
На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.
Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.
Результат эксперимента очень наглядный и может выглядеть так:
Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.
Важное об A/B-тестировании
- Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
- Трафик между страницами должен распределяться равновероятно
- Делая настройки, выберите новых посетителей сайта
- О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
- Делайте оценку результатов в одно время
- Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
- Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.
О том, как с помощью A/B-тестирования выясняем, какая реклама работает лучше всего. В процессе выбора лучшей площадки для проведения экспериментов, мы протестировали и составили подборку сервисов для проведения тестирования. С полезными комментариями. И делимся с вами!
Какой функционал был для нас важен?
- Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большими потоками посетителей.
- Возможность подгрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест.
- Удобный и неглючный онлайн-редактор страниц.
- Правильное подцепление целей тестирования. Несложные цели можно настраивать прямо в сервисах. Собственно, по ним и по промежуточным целям можно сравнивать конверсии вариантов и выбирать выигрышный.
Как разобраться в подборке?
- Сервис — адрес сервиса, тут все просто.
- A/ B или MVT — какой из вариантов тестирования поддерживает сервис.
- A/ B-тестирование — это когда варианты тестируемой страницы отличаются одной переменной(разная кнопка, разный заголовок и т.д.). . Например, в одном варианте кнопка «Заказать» красная, в другом — зеленая. А в целом страницы идентичны.
- MVT — это многовариантное тестирование. Когда варианты тестируемой страницы отличаются в множестве разных вещей. Первый вариант синего цвета, с красной кнопкой «Заказать» и рисунком из бабочек в шапке страницы. Второй вариант — фиолетовый, с зеленой кнопкой «Заказать» и рисунком из единорогов. Третий вариант — вообще черно-белый, с мигающей кнопкой «Заказать» и фотографией заказчика на заднем фоне.
Некоторые сервисы лэндингов поддерживают функцию только A/ B-тестирования, некоторые и A/ B, и MVT.
- Тарифные планы — сколько денег хочет сервис за свои услуги. По каким параметрам определяется крутость тарифного плана?
- Количество посетителей, которое может перейти на страницу (если посетителей больше, чем разрешает тарифный план, эксперимент отключается).
- Количество доменов, на которых размещаются лэндинги.
- Количество самих экспериментов, которые можно запустить в сервисе.
- Количество аккаунтов, которое можно создать на сервисе.
В разные тарифы входят разные параметры, тут уж какой сервис на что горазд.
- Шаблоны\онлайн-редактор - Где-то есть готовые шаблоны, где-то есть редактор, с помощью которого можно изменять переменные.
- Демоверсия — сколько дней можно пользоваться этим сервисом бесплатно.
- Комментарии — наши личные замечания о работе каждого сервиса.
Подборка сервисов для A/B-тестирования
Русскоязычные сервисы
Сервис #1
- Сервис: http://abtest.ru/
- Поддержка тестирования: А/B
- Тарифные планы: тестирование бесплатно, сервис умирает и находится в бета-версии.
- Шаблоны\ редактор: онлайн-редактор.
- Комментарии: Разрешает подгружать свои лэндинги. Ужасно глючный редактор.
Сервис #2
- Сервис: http://lpgenerator.ru/
- Поддержка тестирования: A/B.
- Тарифные планы:
- $37 , 3500 посетителей, 2 домена, 25 страниц.
- $58 , 9000 посетителей, 5 доменов, 50 страниц.
- $119 , трафик, кол-во доменов и кол-во страниц не ограничено, подключение собственных доменов.
- $440 , трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.
- Шаблоны\редактор: шаблоны и онлайн-редактор.
- Демоверсия: 14 дней.
- Комментарии: Есть свой набор шаблонов и платных и бесплатных. Не нашлось инструмента загрузки собственных сайтов для изменения в редакторе. Редактор простой, но требует время для изучения.
Англоязычные сервисы
Сервис #3
- Сервис: http://unbounce.com/
- Поддержка тестирования: A/B.
- Тарифные планы:
- $49 — 5 000 посетителей.
- $99 — 25 000 посетителей.
- $199 — 200 000 посетителей
На всех планах: неограниченное количество тестов и страниц во всех планах, статистика, онлайн-конструктор страниц.
- Шаблоны\редактор: шаблоны и онлайн-конструктор(!).
- Демоверсия: 30 дней.
- Комментарии: Редактор довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простой сайт с нуля.
Сервис #4
- Сервис: https://vwo.com/
- Поддержка тестирован ия: A/B, MVT и тестирование мобильных приложений.
- Тарифные планы:
- $49 , 10 000 посетителей.
- $129 , 30 000 посетителей.
- Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.
- Шаблоны\ редактор: онлайн-редактор.
- Демоверсия: 14 дней.
- Комментарии: у сервиса красивый интерфейс, но при подгрузке своей страницы возникают проблемы.
Сервис #5
- Сервис: http://www.convert.com/ .
- Поддержка тестирования: A/B & MVT
- Тарифные планы:
- $9 , 2000 посетителей.
- $29 , 10 000 посетителей, MVT.
- $59 , 30 000 посетителей, MVT.
- $99 , 50 000 посетителей, MVT + тестирование мобильных сайтов.
- $139-$1499 , тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.
- Шаблоны\ редактор: онлайн-редактор.
- Демоверсия: 15 дней.
- Комментарии: Удобный редактор своих страниц. Шаблонов нет. Все красиво, сочно и удобно, но периодически перестает считать цели, выявлялись ошибки/косяки сервиса, исправлялись техподдержкой, но на следующий день подцепление целей опять слетало по неизвестной причине.
Сервис #6
- Сервис: http://www.clickthroo.com/
- Поддержка тестирования: A/B.
- Тарифные планы:
- $195 , 50 000 посетителей, 5 проектов.
- $395 , 100 000 посетителей, 10 проектов.
- $695 , 100 000 посетителей, безлимитное количество проектов.
- $1195 , 250 000 посетителей, безлимитное количество проектов.
- Шаблоны\ редактор: шаблоны и онлайн-редактор.
- Демо-версия: 14 дней демодоступа.
- Комментарии: Делаешь запрос на демодоступ, заполняя огромную форму и не получаешь его. Ок, получаешь, но через пару рабочих дней.
Сервис #7
$1295
— до 10 000 посетителей в месяц. Неограниченное количество проектов, страниц, тестов, доменов, техподдержка.
Оригинальная публикация:
http://quality-lab.ru/a-b-testing/
Введение
Эмоции управляют людьми, а управление эмоциями людей – мечта каждого маркетолога. Как правило, все нововведения основаны на субъективном «мне кажется, что так будет красивее/удобнее». Гораздо реже под конкретное изменение проводится анализ мнения клиентов. Надеяться на субъективную оценку маркетолога можно, но рискованно. Собирать фокус-группу – затратно. Просто ввести изменение и посмотреть, что же произойдет по прошествии определенного времени, – не научно.
Так как же все-таки определить пользу изменений без потери клиентов и времени? Этот вопрос решает A/B тестирование. Его использование ведет к увеличению трафика клиентов и степени конверсии сайта, к росту количества продаж, кликов и лайков.
Что это такое?
Определение из Wiki:
A/B-тестирование
(англ. A/B testing, Split testing) – метод маркетингового исследования. Суть метода заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп (в которых один или несколько показателей были изменены) для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Разновидностью A/B-тестирования является многовариантное тестирование.
В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B).
Проще говоря, весь поток людей на сайте разбивается на две группы. Одной группе отображается главная страница, к примеру, с кнопкой Sign up (Вариант А). Второй группе – та же страница, но с кнопкой Sign up for free (Вариант В). Тестирование проводится сессионно. В конце каждой сессии подводится итог и вычисляется вариант-победитель. Пример же многовариантного A/B тестирования приведен на схеме:
Как тестировать?
Представим себе ситуацию: онлайн-банку нужно было увеличить количество заявок на кредитование физических лиц. На сайте уже существовал баннер с призывом заполнить заявку, но маркетологи предложили его доработать. В отдел тестирования были переданы два макета для проведения A/B тестирования:
Прежде всего, в отделе тестирования определились с инструментами, позволяющими зафиксировать статистику и проанализировать результат. В сети можно найти с десяток платформ для проведения A/B тестирования, среди которых наиболее популярны следующие:
Все они по-своему удобны и содержат достаточное количество функций для того, чтобы стать незаменимым помощником при проведении А/В тестирования. Выбор наших тестировщиков пал на бесплатный Google Content Experiment (данное решение входит в состав Google Analytics и умеет самостоятельно определять победителя).
С помощью данной платформы был создан эксперимент для тестирования на сайте банка. Для получения корректных результатов необходимо было провести несколько сессий тестирования длительностью в две недели. В первую сессию тестировщики получили неоднозначный результат (конверсия в двух вариантах была почти равна, поэтому определить победителя A/B тестирования не удалось). После серии подобных экспериментов, тестировщикам все-таки удалось получить четкий результат тестирования: победил второй вариант баннера (с фотографией семьи). Возможно, это было связано с тем, что последняя сессия пришлась на новогодние каникулы: ЦА была лояльнее и дружелюбнее.
Итог истории: если раньше заявку на кредит подавали 2 из 10 просмотревших баннер, то теперь – 4 из 10.
Возвратимся к инструментам A/B тестирования. Для инструментов, которые не умеют определять победителя, итоги сессии А/В тестирования можно обработать вручную или при помощи калькулятора. При ручной обработке необходимо учесть соотношение конверсии к числу посещений сайта. Это трудоемкий процесс, который потребует от вас сосредоточенности и точности; он может затянуться на несколько часов. Намного удобнее воспользоваться готовым решением – калькулятором: вам достаточно будет ввести результаты тестирования и получить вариант-победитель. Почти все калькуляторы для A/B тестирования англоязычные, но есть и
