- Cossa.ru
- 6 марта 2023
Как организовать A/B-тестирование на крупном проекте и где брать идеи для гипотез
Методы организации процессов в команде + шаблон, который поможет упорядочить информацию.
Почему мы об этом рассказываем
Сделать один А/В-тест легко. Но если тестирование гипотез идёт непрерывно, информация теряется, тесты растягиваются во времени, а выводы становятся недостоверными.
Наш клиент — крупный игрок ecommerce с большим количеством рассылок и сегментов аудитории. Цель писем по сути одна — продажи, поэтому нужно постоянно придумывать новые способы интересной подачи информации. Ещё одна задача — непрерывный рост метрик эффективности рассылок (или, как минимум, удержание их на хорошем уровне).
Вместе с ростом объёма коммуникаций и количества А/В-тестов увеличилась и команда проекта. В один момент стало сложно уследить за тем, какие тесты проводят менеджеры и правильно ли они это делают.
Новый подход к процессам
Чтобы А/В-тестирование давало нужный результат, мы решили кое-что поменять.
1. Изменили процесс распределения тестов
Раньше менеджеры совместно придумывали гипотезы на месяц вперёд, затем каждый из них самостоятельно распределял тесты по своим рассылкам. Человек, ответственный за общий результат, — отсутствовал. Это привело к тому, что часть тестов проводилась некорректно, и мы делали поспешные выводы.
Случай из практики: мы тестировали гипотезу «Темы, похожие на статусы ВК, увеличивают OR». Часть команды брала неочевидные «статусы», которые не отражали суть теста, например:
Тема, А: До −80% на всё, что вы хотите подарить.
Тема В («статус ВК»): Если вам сказали, что ваш поезд ушёл…
Такой тест не мог ни подтвердить, ни опровергнуть гипотезу, потому что не соответствовал основной идее.
Поэтому мы:
централизовали процесс распределения тестов. Теперь за это отвечает один из менеджеров. Ещё он следит за корректностью выполнения тестов, проверяет сделанные выводы и презентацию для клиента;
установили KPI по количеству проведённых тестов в неделю — минимум 4;
если кто-то допустил ошибку, разбираем её всей командой, чтобы не повторять в будущем.
Дарим Гайд от CRM-стратега: CJM за 10 шагов.
Подпишитесь, чтобы получить его. Будем присылать только полезные материалы про digital один раз в месяц
2. Начали искать неочевидные взаимосвязи в метриках
Обычно тестируют рост OR или CTOR. Но во время тестов могут измениться также GMV (общая стоимость товаров, проданных на площадке) и количество заказов. Или может вырасти CTOR, хотя тестировали OR, и наоборот. Поэтому важно следить не только за объектом тестирования, но и за другими метриками — иногда это помогает делать неочевидные выводы.
Пример 1. Мы проверяли гипотезу, что наличие блока меню в макете увеличивает CTOR. Для этого разработали блок-меню с пятью категориями. Мы не получили однозначного подтверждения гипотезы, зато GMV у макетов с блоком меню увеличился в среднем на 70%.
Пример 2. Выдвинули гипотезу: «Намёк на выигрыш в теме письма увеличивает OR». Макеты отличались только темами, но CTOR у писем с таким намеком в теме был выше в три раза.
Тема, А: Вы выиграли! (OR — 12%, CTOR — 24%)
Тема В: Ищем выгоду (OR — 9%, CTOR — 8%)
Как мы переработали таблицы с тестами
Сначала мы просто записывали гипотезы и результаты тестов в Google-таблицу. В ней не было фильтров, формул и возможности делать графики по данным из-за множества объединённых ячеек. Все гипотезы (подтверждённые, опровергнутые и те, которые ещё не тестировали) были в одном месте, поэтому иногда дублировались. Для каждого нового месяца мы создавали новый лист, из-за чего некоторые тесты терялись по пути.
Когда мы решили навести порядок, начали с того, что добавили фильтры и формулу подсчёта статистической значимости гипотез. Это упростило работу менеджеров, ведь больше не нужно было переключаться между вкладками с таблицей и калькулятором.
Данные стали храниться в удобном формате:
без объединённых ячеек, чтобы при необходимости построить график или диаграмму;
с раскрывающимися списками, из которых можно выбрать нужный показатель, что экономит время менеджера и стандартизирует ввод данных;
все ячейки с числами переведены в числовой формат, что позволяет внедрять формулы.
Кое-что вынесли на отдельные листы.
1. Незавершённые гипотезы с датой последних тестов. Если с момента последнего эксперимента прошло больше трёх месяцев, гипотезу нужно тестировать заново, потому что за это время пользовательские предпочтения могли измениться.
Например, полтора года назад мы подтвердили гипотезу, что слово «распродажа» в теме письма увеличивает OR. Недавно мы снова взяли этот приём в работу, но увидели, что показатели падают. Повторное тестирование гипотезы дало обратный результат — она не подтвердилась. Скорее всего за это время у пользователей произошло пресыщение и они перестали реагировать на такую тему.
2. Завершённые тесты, где указано, подтвердилась гипотеза или нет. Такая таблица помогает всей команде: менеджеры других проектов, дизайнеры и копирайтеры могут почерпнуть там новые идеи, чтобы увеличить метрики.
3. Календарь тестирования. Помогает команде и клиенту быстро отследить актуальные тесты в работе. В календаре записаны запланированные гипотезы на ближайший месяц, а также количество тестов, которые осталось провести (чтобы подтвердить гипотезу, нужно минимум 3 теста с однозначными результатами; если три теста не помогли сделать конкретный вывод, их число нужно увеличить до 5).
По ссылке вы найдёте шаблон таблицы, которую мы теперь используем. Она полностью готова к работе: отформатированы все листы и добавлена формула статистической значимости. Делайте копию и попробуйте новый подход к А/В-тестам.
Как генерировать новые гипотезы
Мы создаём новые гипотезы двумя способами.
Масштабируем собственные удачные кейсы
Для этого мы смотрим результаты рассылок за прошлый месяц и выделяем 4 группы имейлов: высокий и низкий OR, высокий и низкий CTOR. Смотрим на то, что у нас получилось, и делаем предположения, что именно повлияло на успех рассылки. Указание скидки в теме письма? Анимированный баннер? Свои догадки формулируем в гипотезу и тестируем её.Анализируем опыт конкурентов
Второй способ — подписаться на рассылки конкурентов или крупных брендов, которые вам импонируют. Нужно проанализировать рассылки на предмет часто использующихся или просто интересных приёмов. Например, мы видим, что компания часто использует в теме письма слова «ваш», «для вас», тем самым подчёркивая пользу для подписчика. Значит, можно выдвинуть гипотезу, что OR будет выше, если использовать в теме письма слова «ваша скидка» или «промокод для ваc».
Как понять, какую гипотезу тестировать в первую очередь?
Вы проделали большую работу и придумали с десяток гипотез, как увеличить показатели, а теперь не знаете, с какой начать? Советуем провести ранжирование гипотез по следующему алгоритму:
Определить оптимальное количество гипотез, которые вы будете тестировать в месяц. Желательно, чтобы они не перетекали из одного месяца в другой, поэтому лучше брать меньше гипотез, но доводить их до конца.
Сделать таблицу для ранжирования, в которой будут 3 столбца: гипотеза, ценность и сложность.
Проставить напротив каждой гипотезы степень ценности и сложности от 1 до 3, где 3 — очень высокая, 1 — низкая. Высокая ценность означает, что потенциально эта гипотеза может повлиять не только на рост CTOR и OR, но и на продажи. Высокая сложность означает, что реализация теста потребует много ресурсов.
Распределить гипотезы, исходя из полученных результатов. На первое место выйдет гипотеза, у которой высокая ценность и низкая сложность. С неё и нужно начинать тестирование.
С новым подходом к проведению А/В-тестов мы не только увеличили их результативность, но и повысили эффективность команды, а также доверие клиента. Забирайте в работу, если было полезно.
