Одно изменение · одна метрика · гипотеза X → Y
Менять одно свойство, а не весь лендинг
описать одно отличие между вариантами A и B + правило случайных групп.
Услышав «A/B-тест», легко представить два совершенно разных лендинга. Так тоже бывает. Но если вы хотите понять причину, тестируйте одно изменение: цвет кнопки, положение, размер шрифта, одну фразу, короткий vs длинный плейсхолдер, подсветку поля.
Все остальные параметры — одинаковые. Пользователи попадают в группы случайно. Иначе вы сравниваете яблоки с апельсинами.
Главное: одно отличие → один вывод. Десять отличий сразу → красивая картинка и ноль уверенности.
Сколько людей. Ориентир «от ~30 на вариант» иногда уже о чём-то говорит, но это не догма. Чем слабее ожидаемый эффект и чем шумнее поведение, тем больше выборка нужна. Важно заранее понимать: что вы мерите и насколько большой сдвиг вас устроит (урок 2).
Одно изменение · одна метрика · гипотеза X → Y
Менять одно свойство, а не весь лендинг
описать одно отличие между вариантами A и B + правило случайных групп.
Услышав «A/B-тест», легко представить два совершенно разных лендинга. Так тоже бывает. Но если вы хотите понять причину, тестируйте одно изменение: цвет кнопки, положение, размер шрифта, одну фразу, короткий vs длинный плейсхолдер, подсветку поля.
Все остальные параметры — одинаковые. Пользователи попадают в группы случайно. Иначе вы сравниваете яблоки с апельсинами.
Главное: одно отличие → один вывод. Десять отличий сразу → красивая картинка и ноль уверенности.
Сколько людей. Ориентир «от ~30 на вариант» иногда уже о чём-то говорит, но это не догма. Чем слабее ожидаемый эффект и чем шумнее поведение, тем больше выборка нужна. Важно заранее понимать: что вы мерите и насколько большой сдвиг вас устроит (урок 2).
Одно изменение · одна метрика · гипотеза X → Y
Менять одно свойство, а не весь лендинг
описать одно отличие между вариантами A и B + правило случайных групп.
Услышав «A/B-тест», легко представить два совершенно разных лендинга. Так тоже бывает. Но если вы хотите понять причину, тестируйте одно изменение: цвет кнопки, положение, размер шрифта, одну фразу, короткий vs длинный плейсхолдер, подсветку поля.
Все остальные параметры — одинаковые. Пользователи попадают в группы случайно. Иначе вы сравниваете яблоки с апельсинами.
Главное: одно отличие → один вывод. Десять отличий сразу → красивая картинка и ноль уверенности.
Сколько людей. Ориентир «от ~30 на вариант» иногда уже о чём-то говорит, но это не догма. Чем слабее ожидаемый эффект и чем шумнее поведение, тем больше выборка нужна. Важно заранее понимать: что вы мерите и насколько большой сдвиг вас устроит (урок 2).
Одно изменение · одна метрика · гипотеза X → Y
Менять одно свойство, а не весь лендинг
описать одно отличие между вариантами A и B + правило случайных групп.
Услышав «A/B-тест», легко представить два совершенно разных лендинга. Так тоже бывает. Но если вы хотите понять причину, тестируйте одно изменение: цвет кнопки, положение, размер шрифта, одну фразу, короткий vs длинный плейсхолдер, подсветку поля.
Все остальные параметры — одинаковые. Пользователи попадают в группы случайно. Иначе вы сравниваете яблоки с апельсинами.
Главное: одно отличие → один вывод. Десять отличий сразу → красивая картинка и ноль уверенности.
Сколько людей. Ориентир «от ~30 на вариант» иногда уже о чём-то говорит, но это не догма. Чем слабее ожидаемый эффект и чем шумнее поведение, тем больше выборка нужна. Важно заранее понимать: что вы мерите и насколько большой сдвиг вас устроит (урок 2).