Как расставить приоритеты в выборе А/В-тестов

Как только вы «открываете для себя» А/В-тестирование, у вас сразу же возникает проблема выбора: «что сейчас тестировать?» В голове – масса вопросов: «попробовать другую надпись на СТА-кнопке?», «попробовать заменить заголовок?», «может быть, надо протестировать картинку? Или заменить ее на видео?», «а что, если проблема в цене и надо просто протестировать разные цены?»

Вот как рекомендуют подходить к выбору приоритетов в А/В-тестировании лучшие мировые эксперты.

Немного статистики

Начнем с того, что рассмотрим, как подходят к тестированию разные компании. Известный сервис оптимизации конверсии VWO провел опрос у себя на сайте и выявил следующие интересные (и печальные) закономерности.

Почти в 30% для первого теста выбирается «call-to-action». Это может говорить о том, что очень большое количество тестов проводится интуитивно – это станет понятно ниже, когда мы будем рассказывать про те методы, которые используют профессионалы для выбора тестов.

40% тестов создаются за 1 час или менее, включая время, потраченное на сбор данных и генерацию идеи для теста. Это очень мало, и, скорее всего, тоже означает, что очень большую роль в создании тестов играет интуиция.

Как же системно подойти к приоритизации А/В-тестов?

Методика PIE

Эксперты из Wide Funnel предлагают методику PIE для определения приоритетов А/В-тестирования: Potential, Impact, Ease (Потенциал, влияние, легкость).

Эта методика тоже во многом субъективная, но по крайней мере она задает какие-то границы и параметры для оценки того, что нужно тестировать на сайте.

Потенциал: насколько большое улучшение может быть потенциально достигнуто на какой-то странице. Рекомендуется сравнить ваши лучшие и худшие страницы в плане конверсии, и использовать эту разницу для примерной оценки, насколько сильно можно улучшить ваши худшие страницы.

Влияние: необходимо оценить ваши страницы с точки зрения стоимости и объема трафика, который на них приходит. Если в предыдущем пункте вы определили какую-то страницу, которая имеет большой потенциал для улучшения, но на эту страницу приходит 2 посетителя в день, то тестировать такую страницу практически бессмысленно. Фокусируйтесь на страницах, получающих большой трафик, и на страницах, получающих очень дорогой трафик. Даже небольшое увеличение конверсии на них даст чувствительный результат либо в приросте выручки, либо в экономии затрат.

Легкость: некоторые тесты можно действительно настроить за пару минут, но некоторые могут оказаться не такими простыми, требовать участия ИТ-специалистов компании либо веб-дизайнеров. В этом смысле, чем легче провести определенный тест, тем лучше. Не забывайте также не только про «техническую», но и про «политическую» легкость. В крупных компаниях проведение тестов требует согласования с разными людьми, у них могут быть свои интересы и свое видение того, что надо тестировать.

Вот такую итоговую форму используют специалисты WideFunnel, чтобы оценить разные идеи А/В-тестирования с помощью методики PIE.

Методика «да-нет по ключевым вопросам»

В блоге Optimizely описана методика, которую используют в компании Hotwire, входящей в холдинг Expedia.

Для того чтобы оценить очередную идею для А/В-тестирования, в компании принято задавать следующие вопросы. За каждый ответ «да», идея получает 1 балл, за ответ «нет» — 0 баллов.

Основная метрика: направлена ли эта идея на улучшение главной метрики компании «количества новых заказов», в отличие от других – например, «индекса потребительской удовлетворенности»?
Тестируемая страница: относится ли тест к странице внутрисайтового поиска, странице, относящейся к оформлению заказа и оплате или к любым другим страницам?
«Above-The-Fold»: относится ли тест к каким-то элементам, которые видны на сайте до прокрутки, то есть сразу?
Доля посетителей сайта: относится ли тест ко всем 100% посетителям сайта, или только к их определенной подгруппе: только новые, только повторные покупатели и так далее?
Изменение структуры: тестируется добавление новой информации или элемента, или их удаление? (в отличие от изменений существующих элементов, цвета, текста, кнопки, и т. д.).
Уже работает: данный тест уже показал себя положительно на других сайтах холдинга?
Разные воронки продаж: охватывает ли данный тест 2 и более разных воронок продаж на сайте?
Поддерживает стратегическую цель: направлен ли тест на достижение одной из общекорпоративных целей компании?
Влияет ли на мобильные устройства: тестируется ли изменение, направленное на изменение интерфейса на планшетах или смартфонах?

Полин Мэрол, главный менеджер по продуктам компании Hotwire говорит, что их методика приоритизации А/В-тестов позволяет исключить эмоциональную составляющую. К ней постоянно поступает множество идей для тестирования от разных сотрудников. В очереди у нее находится порядка 400 тестов, которые она планирует сделать. Компании был нужен прозрачный механизм выбора, какие идеи тестировать в первую очередь.

Общая идея этой методики может быть применима к любому сайту. Вы просто выбираете некоторые наиболее важные для вас параметры и оцениваете идею для А/В-тестирования через призму таких вопросов, насколько хорошо этот тест подходит для вашего сайта.

Методика от Granify — 3 способа

Эксперты сервиса Granify предлагают следующие три простых способа выбора очередной идеи для А/В-тестов:

«Узкие места» в воронке продаж: найдите те страницы/этапы в воронке продаж, на которых уходят больше всего посетителей сайта, и постарайтесь их улучшить.
Отсортируйте страницы по трафику и конверсии: выберите те страницы, которые получают больше всего трафика и при этом обладают наименьшей конверсией. Постарайтесь их улучшить.
Тестируйте «ближе к деньгам»: в случае, если у вас предусмотрен процесс оформления заказа (интернет-магазин). Тестируйте сначала последнюю страницу оформления заказа, чтобы улучшить конверсию там, потому что любое улучшение в этом месте дает больше доходов. Дальше – тестируйте предыдущую страницу и так далее. «Возвращайтесь» постепенно к странице корзины и к карточке товара (тестируйте в последнюю очередь).

Методика FUDWM

Шон Эллис, основатель сервиса Qualaroo, и Ryan Lillis, консультант из Optimizelу, совместно разработали методику проведения А/В-тестов.

Первые три шага этой методики относятся к тому, как выбирать идеи для тестирования.

1. Найдите лучшие возможности:

В первую очередь необходимо тестировать улучшения на этих страницах:

5 страниц с наибольшим процентом отказов (bounce rate)
5 точек воронки продаж с наибольшим процентом ухода
5 самых ценных страниц для бизнеса (дающих больше всего конверсий)

Далее необходимо генерировать идеи, что на этих страницах может быть «не так» и что можно там улучшить.

2. Поймите потребности клиентов

Одним из способов генерации идей для А/В-тестов могут быть ответы клиентов/посетителей сайта на онлайн-опросы. Авторы методики рекомендуют задавать посетителям указанных выше страниц следующие вопросы (формулировки нужно «подгонять» под ваш конкретный случай):

Зачем они зашли на сайт?
Нашли ли они то, что искали?
Что помешало им «конвертироваться»?
Если они совершили конверсию, то были ли моменты, которые «почти остановили» их?

3. Используйте собранные данные для тестов

Попробуйте «исправить» те моменты на своих ключевых, на которые вам указали посетители
Используйте данные положительных тестов для других тестов. Если, например, на одной странице кнопка «Получить мое предложение» показала лучший результат, чем «Получить предложение» — попробуйте внедрить аналогичный прием на другие страницы (добавить слова «мой», «мое» — в отношении посетителя сайта).

Оптимизация – это процесс

В заключение отметим важный момент, который неоднократно подчеркивают эксперты: «оптимизация – это процесс».

Оптимизация сайта начинается с этапа «качественного инсайта». Например, вам кажется, что СТА-кнопка слабо заметна. Пока у вас нет никаких данных.

Далее – вы тестируете. Пробуете увеличить заметность кнопки, например, контрастным цветом. Предположим, новый вариант действительно победил.

На основании этого тестирования у вас появляется «инсайт, основанный на количественных данных», теперь у вас есть гипотеза, что увеличение заметности СТА-кнопки ведет к увеличению конверсии. Вы можете развивать эту гипотезу, чтобы получить другие идеи для тестов. Ведь заметность кнопки можно обеспечить не только цветом, но и, например, размером. Появляется идея для теста «увеличить размер СТА-кнопки». Вы можете транслировать свою гипотезу на другие элементы страницы, решив сделать более контрастным заголовок. И так далее.

Обдуманно выбирайте идеи для А/В-тестирования с помощью указанных методик, и все у вас получится!

По материалам блогов

Conversion XL, Granify, Optimizely, Qualaroo, User Conversion, WideFunnel.