Почему вы не делаете сплит-тест, или Война между креативом и статистикой

Фабиан Стельцер, соучредитель EyeQuant (сервиса, предоставляющего услуги айтрекинга), еще раз обосновал в своем докладе важность сплит-тестирования при помощи современных инструментов онлайн-маркетинга, продемонстрировал интересные факты и задал вопрос:

Что знают о захвате внимания неврологи и нидерландский художник Пит Мондриан, и о чем не знаем мы?

Начать стоит с того, что из 2 500 000 компаний, расходующих свой рекламный бюджет на GoogleAdwords, менее 2% используют сплит-тестирование. Фабиан считает, что причиной этому стала «война» между творчеством/креативом и статистическими данными.

В 2006 году, когда Google уже была невероятно успешной компанией, а годовая прибыль достигла феноменальных $10 000 000 000, она впервые нанимает руководителя визуального дизайна — Дага Баумена (Doug Bowman). Достаточно странно, что первый такой дизайнер появился в Google тогда, когда она уже стала огромной корпорацией, но еще более удивительно, что уже через 3 года Даг Баумен покинул компанию.

image05

В своем блоге он объяснил причину своего ухода, сказав, что не может работать в подобном окружении. Все мы знаем, насколько роскошные условия работы предлагает компания, а собственно офисы Google по всему миру являются воплощением «работы мечты». Так что же стало настоящей причиной его ухода? Даг Баумен утверждает, что творчество дизайнера в Google рождается и умирает среди строгой статистики. Он привел простой пример: «Когда Google не могли выбрать между двумя вариациями синего цвета из предложенных дизайнером, они провели сплит-тестирование 41 оттенка синего, чтобы проверить, какой из них даст большую конверсию».

Баумену не понравилось, что в компании абсолютно не обращают внимания на дизайнерские решения и смотрят только на данные, заставляя постоянно тестировать бесчисленное множество вариантов графики.

Борьба креатива и статистики

«А/Б-тест – это наждачная бумага. Ты можешь использовать её, чтобы сгладить шероховатости,

но никогда не сможешь создать что-либо новое».
Натан Боуверс

«Главная проблема А/Б-теста в том, что он не имеет души. Он пустой, никаких эмоций или сочувствия».
Джеф Этвуд

«Я скептически отношусь к А/Б-тестам… Их подход игнорирует магию и душу».
Джон Колко

«Слишком много дизайнеров считают собственный дизайн идеальным решением ваших потребностей».
ConversionCore

«Графические дизайнеры редко обучены увеличению конверсии».
Тим Эш

«Целью является увеличение конверсии, а не получение премии за творческие достижения».
Михаэль Огард

Стоит сказать о нескольких популярных заблуждениях, актуальных и по сей день.

Сплит-тесты в художественном искусстве

Многие считают, что процесс создания чего-то уникального или даже гениального, что мы привыкли называть искусством, односторонний и не подвластный изменениям. Хороший пример — песня Пола Маккартни (The Beatles) «Yesterday», приснившаяся ему. Проснувшись, Пол просто записал ее на бумаге. Это единичный случай, и его нельзя считать нормой, если заглянуть в историю искусства.

image03

Многие художники — особенно Эпохи Возрождения — писали несколько вариаций одной и той же картины. Полотно «Мадонна в скалах» Леонардо Да Винчи имеет 2 версии.

image04

Интересный пример: картина Пита Мондриана, о котором мы упоминали выше, и 2 ее варианта. Слева — первая версия, измененная — справа. Это может стать типичным примером А/Б-теста. На рисунке при помощи окулографии (айтрекинг) видно, что первый вариант картины привлекает гораздо больше внимания, чем второй, где все внимание поглощается глубоким синим цветом.

Наука – это не только факты

32

Следующее — не менее популярное заблуждение— гласит, что наука есть только скучные цифры без каких-либо эмоций и душевных порывов. Опровергая данное высказывание, Фабиан Стельцер рассказывает об одном из важнейших исследователей 20-го века — Джеймсе Уотсоне, американском биологе, которому во сне пришла идея моделирования структуры ДНК. Несомненно, Уотсон и Крик работали с огромным количеством информации, но это не означает, что все ограничивалось только цифрами.

Если ваши маркетологи или вы сами не проводите сплит-тест на основном ресурсе или целевых страницах, то, вероятно, причиной — по версии Фабиана — является внутренняя борьба между творчеством и статистикой.

Есть только 2 исключения, когда тестирование проводить не нужно:

 

  • если у вас недостаточно входящего трафика (или когда его нет);
  • когда вы еще не сделали ни одной продажи или конверсии.

Вместо заключения

Дизайнеры — как и директор компании — как правило считают, что знают, чего хочет покупатель и целевая аудитория лучше всех, поэтому зачем мучить себя сплит… там чего-то… да, вспомнил!.. — тестами.

Если даже в искусстве и науке проводят A/B-тесты, то что тогда говорить об интернет-маркетинге, где результат — как и сам процесс — настолько проще построить и отследить.

Рунет, с точки зрения оптимизации конверсии, находится еще в Средневековье, но — как мы видим — культура тестирования медленно, но неотвратимо зарождается. Будем надеется, что данный пост немного поможет общему тренду.