Reading Time: 7 minutes

При тестировании лендинга можно изменить заголовок, изображение или CTA и посмотреть, как это повлияет на конверсию. Когда гипотез становится несколько, возникает вопрос: проверять каждое изменение отдельно или тестировать несколько элементов одновременно?

Первый путь – это серия A/B-тестов, второй – мультивариативное тестирование.

В этой статье разберём механику на конкретном примере из нутры. Возьмём оффер из каталога AdCombo, выберем на его лендинге три элемента для тестирования, заголовок, изображение и CTA, и соберём тест в AIO. 

A/B-тестирование и мультивариативное тестирование: в чём разница  

Главное отличие в том, что именно сравнивается. A/B ставит друг против друга две целые версии страницы. Если в версии Б поменялись сразу заголовок, фото и кнопка, а конверсия выросла, вы знаете только, что Б лучше. Какое из трёх изменений дало результат и не тянет ли одно из них вниз остальные, тест не показывает, и непонятно, что переносить в другие связки.

Мультивариативное тестирование сравнивает не страницы, а элементы. Для каждого элемента задаётся набор вариантов, система собирает из них комбинации и считает статистику по каждому варианту отдельно. На выходе вы получаете ответ на два вопроса: какая версия лендинга работает лучше и какой именно заголовок, фото или кнопка за это отвечают.

Второе отличие в том, что мультивариативное тестирование видит взаимное влияние элементов. Заголовок, который хорошо работает с одним фото, с другим может сработать иначе. При последовательных A/B по одному элементу такая связь остаётся незамеченной: каждый тест идёт при одном фиксированном окружении, и результат верен только для него.

Третье отличие касается трафика и времени. Последовательные A/B требуют отдельного теста и отдельного бюджета на каждый элемент, а выводы приходится ждать по очереди. В мультивариативном тестировании все элементы проверяются одновременно на одном потоке. Платой за это становится число комбинаций: чем больше вариантов, тем больше показов нужно, чтобы статистика по каждому стала надёжной.

Поэтому методы не заменяют друг друга. A/B подходит, когда сравниваются две целые концепции, например длинный лендинг и короткий. Мультивариативное тестирование нужно, когда концепция уже выбрана и надо улучшать элементы внутри неё. A/B выбирает версию, мультивариативное тестирование объясняет выбор.

Как мультивариативый тест определяет лучший вариант элемента 

Подача одного и того же элемента по-разному работает на разной аудитории и гео, и заранее угадать, какая сработает, не получается. Проверка на реальном трафике снимает этот вопрос. 

Принцип тестирования один для всех элементов. Для элемента задаётся набор вариантов, и трафик делится между ними. По каждому варианту система считает показы и целевое действие, например заявку или подтверждённый лид. Сравниваются между собой варианты одного элемента при одинаковых условиях, поэтому разница в конверсии объясняется самим вариантом. Когда элементов несколько, система сама собирает из их вариантов комбинации, так что все элементы проверяются на одном потоке одновременно.

Дальше в тесте есть два пути. Либо трафик остаётся поделённым по заданным долям, пока не накопится достаточно данных, либо система по мере накопления статистики направляет больше показов на варианты, которые дают лучший результат. 

Ниже показываем этот принцип на примере из нутры: три элемента лендинга, два режима распределения трафика и статистика по каждому варианту.

Что подготовить перед тестированием

Мультивариативный тест не начинается с ккнопки. Сначала нужно определить, что именно мы будем тестировать и на какой базе. Для этого выбираем стабильный оффер, определяем гео и берём лендинг, который станет отправной точкой для эксперимента. 

Как выбрать оффер для теста

Результат теста на элементах лендинга можно использовать, только если сам оффер стабилен. Если аппрув заметно меняется от недели к неделе, разницу между вариантами не отличить от колебаний оффера, и победителем легко назвать случайный вариант. Поэтому оффер оценивают до запуска и смотрят на аппрув, треш и выплату в комплексе. В нутре с оплатой при получении заявка должна ещё пройти подтверждение, так что именно аппрув показывает, сколько лидов превратятся в деньги. 

Выбрать подходящий оффер помогает AdCombo: менеджеры предоставят актуальную информацию по выплате, аппруву, трешу и другим показателям, которые важно учитывать перед запуском. Это позволяет заранее оценить стабильность оффера и выбрать вариант, на котором результаты теста элементов лендинга можно будет корректно сравнивать.

Тестирование лендинга под разные гео

После выбора оффера нужно определить, для какого рынка проводится тест.

Офферы в каталоге партнёрки охватывают почти все страны мира, поэтому один и тот же оффер можно запускать на нескольких гео. Для теста это удобно, потому что заголовок, фото и кнопка зависят от рынка сильнее всего: язык, образы и подача в одной стране могут работать совсем иначе, чем в другой. Переносить победителя с одного гео на другое без проверки рискованно, а тест на элементах позволяет проверить подачу на каждом рынке отдельно.

Для каждого варианта можно задать правила показа по гео, языку, устройству и ОС, так что в одном тесте разные варианты показываются разным рынкам, а статистика собирается по каждому из них.

Готовые локализованные лендинги партнёрки помогают быстро собрать базу под нужное гео, а варианты элементов уже тестируются поверх неё. Отдельного внимания заслуживают редкие гео: в нише их мало, конкуренция там ниже, и результаты теста на них становятся основой для отдельного направления.

Готовый лендинг или свой

Теперь нужна сама база для тестирования — лендинг. Делать его с нуля необязательно: партнёрки могут предоставлять готовые страницы под конкретный оффер и гео, которые уже адаптированы под нужную аудиторию и готовы к запуску.

Креативный отдел AdCombo предоставляет готовые локализованные лендинги и промо-материалы, которые уже прошли проверку временем. Такой лендинг можно взять за основу и не тратить время на разработку страницы с нуля, а сразу перейти к тестированию отдельных элементов.

Заголовок, изображение и кнопка: тестируем три элемента

Для примера мы взяли лендинг одного из офферов и выбрали три разных элемента: заголовок, фото и кнопку. Так видно, что сплит в AIO работает не только с текстом, но и с любым другим элементом. Исходные версии, с которых начинался тест, показаны ниже.

Первый элемент: заголовок.

Изначальный заголовок лендинга

В оригинале он звучит как «Prepárate para ADELGAZAR». Это первое, что видит пользователь, и в тесте у заголовка будет три варианта первой строки: меняется сама подача, а оффер остаётся прежним.

Второй элемент: фото героини. 

Изначальное изображение героини на лендинге

В оригинале оно стоит в блоке с вопросом «¿Sigues descontenta con tu figura?». Для фото будет задано четыре варианта, и менять его можно независимо от заголовка: комбинации система соберет сама.  

Третий элемент: кнопка в форме заказа. 

Изначальный вариант кнопки на лендинге

Для неё будет задано три варианта, и это тот элемент, по которому мы настроим автоматическое распределение трафика: именно кнопка стоит ближе всего к целевому действию. 

⚠️ Чтобы элемент стал частью теста, в редакторе AIO его заменяют на макрос: {{split.Headline}} для заголовка, {{split.person}} для фото и {{split.CTA}} для кнопки. Имя макроса становится ключом сплита, а вместо макроса пользователю показывается один из заданных вариантов. Набор элементов выбран для примера: в тест можно пустить и другие блоки лендинга, в зависимости от оффера и гео. 

Равномерное распределение трафика: как сравнивать варианты элементов

Чтобы варианты можно было честно сравнивать, их нужно показывать в равных условиях. Для заголовка в режиме Weights доли показов задаются вручную: на скрине три варианта по 33%. Каждый получает одинаковый объём трафика, поэтому разница в конверсии объясняется самим заголовком, а не тем, что одному досталось больше показов. 

Сплит заголовка в AIO 

Так же устроен сплит фото: четыре варианта по 25%. Для каждого варианта можно задать правила показа по гео, языку, устройству и ОС. Это позволяет смотреть, как один и тот же элемент работает на разных сегментах трафика, ведь вариант, который выигрывает на одном устройстве, на другом может проигрывать. 

Сплит изображения в AIO

Автоматическая оптимизация: как направлять больше трафика на лучшие варианты

Для кнопки в форме мы выбрали режим Conversions AI: он по ходу теста направляет больше трафика на сильные варианты без ручных переключений. Вы задаёте целевую конверсию, на скрине это «Any Conversion by Business Value», и система сама решает, какой вариант кому показывать: источник ищет аудиторию, а AIO подбирает контент, ориентируясь на выставленную конверсию. 

По каждому варианту считаются показы, реворды (сколько целевых конверсий он принёс) и процент конверсии от показов. По мере накопления данных больше показов получают те варианты, у которых этот процент выше. Даже при явном лидере система изредка показывает остальные варианты, чтобы не пропустить тот, который начнёт работать лучше. Оптимизация идёт, пока вы не сбросите её вручную, поэтому тест не требует ручного переключения трафика после каждого вывода.

Ориентиром при выборе цели служит средний аппрув по офферу из каталога: он помогает отличить реальный рост подтверждённых лидов от обычных колебаний самого оффера. 

Важно учесть, что на скрине счётчики в нуле: трафик мы не запускали, в статье показана механика, цифр по результатам нет.

Сплит кнопки 

Один тест вместо серии A/B: что байер получает в аналитике 

Главное, что даёт мультивариативное тестирование, это ответ на вопрос «почему». После теста у вас остаётся не просто победившая версия, а статистика по каждому заголовку, изображению и кнопке отдельно. 

Второе преимущество в скорости и бюджете. Все элементы проверяются на одном потоке одновременно, поэтому не нужно запускать серию отдельных тестов и ждать результат каждого по очереди. А в режиме Conversions AI трафик по ходу теста сам уходит на сильные варианты, так что слабые варианты получают меньше показов.  

Третье преимущество в глубине разбора. Правила показа по гео, языку, устройству и ОС позволяют смотреть, как один и тот же вариант работает на разных сегментах, и находить связки, где он выигрывает, а где проседает. 

Когда данные по тесту и по воронке лежат в одной системе, результат сплита можно сопоставить с тем, что происходило с лидами дальше, и увидеть, где именно теряются деньги. Так тест превращается из разовой проверки в источник аналитики для всех следующих запусков.

Вывод

Мультивариативное тестирование позволяет смотреть на лендинг не как на одну готовую страницу, которую нужно целиком признать удачной или неудачной, а как на набор элементов, каждый из которых можно проверить и оптимизировать.

Стабильный оффер от AdCombo и аналитика AIO дают байеру то, ради чего тест и запускается: меньше догадок и больше решений, подтверждённых данными.