Одно изменение · одна метрика · гипотеза X → Y
Сформулировать гипотезу и выбрать метрику
формула «X → Y» + метрика действия + порог решения.
Гипотеза звучит так:
Я предполагаю, что изменение свойства интерфейса X приведёт к изменению показателя Y.
Дальше: части пользователей показываете интерфейс с новым X, остальным — без него (или с другим значением X). Смотрите, как изменился Y: вырос, упал или сдвиг незначительный.
Заранее можно назначить порог: насколько должен сдвинуться Y, чтобы считать гипотезу подтверждённой или опровергнутой. Без порога легко «подтянуть» вывод под настроение.
Метрика — это действие. Клик. Ввод текста. Скачивание. Генерация. Отправка формы. Как правило — нажатия и тапы: так пользователь «разговаривает» с экраном.
Главное: без Y вы не извлечёте результат из теста. X без Y — просто вкус «мне так красивее».
Одно изменение · одна метрика · гипотеза X → Y
Сформулировать гипотезу и выбрать метрику
формула «X → Y» + метрика действия + порог решения.
Гипотеза звучит так:
Я предполагаю, что изменение свойства интерфейса X приведёт к изменению показателя Y.
Дальше: части пользователей показываете интерфейс с новым X, остальным — без него (или с другим значением X). Смотрите, как изменился Y: вырос, упал или сдвиг незначительный.
Заранее можно назначить порог: насколько должен сдвинуться Y, чтобы считать гипотезу подтверждённой или опровергнутой. Без порога легко «подтянуть» вывод под настроение.
Метрика — это действие. Клик. Ввод текста. Скачивание. Генерация. Отправка формы. Как правило — нажатия и тапы: так пользователь «разговаривает» с экраном.
Главное: без Y вы не извлечёте результат из теста. X без Y — просто вкус «мне так красивее».
Одно изменение · одна метрика · гипотеза X → Y
Сформулировать гипотезу и выбрать метрику
формула «X → Y» + метрика действия + порог решения.
Гипотеза звучит так:
Я предполагаю, что изменение свойства интерфейса X приведёт к изменению показателя Y.
Дальше: части пользователей показываете интерфейс с новым X, остальным — без него (или с другим значением X). Смотрите, как изменился Y: вырос, упал или сдвиг незначительный.
Заранее можно назначить порог: насколько должен сдвинуться Y, чтобы считать гипотезу подтверждённой или опровергнутой. Без порога легко «подтянуть» вывод под настроение.
Метрика — это действие. Клик. Ввод текста. Скачивание. Генерация. Отправка формы. Как правило — нажатия и тапы: так пользователь «разговаривает» с экраном.
Главное: без Y вы не извлечёте результат из теста. X без Y — просто вкус «мне так красивее».
Одно изменение · одна метрика · гипотеза X → Y
Сформулировать гипотезу и выбрать метрику
формула «X → Y» + метрика действия + порог решения.
Гипотеза звучит так:
Я предполагаю, что изменение свойства интерфейса X приведёт к изменению показателя Y.
Дальше: части пользователей показываете интерфейс с новым X, остальным — без него (или с другим значением X). Смотрите, как изменился Y: вырос, упал или сдвиг незначительный.
Заранее можно назначить порог: насколько должен сдвинуться Y, чтобы считать гипотезу подтверждённой или опровергнутой. Без порога легко «подтянуть» вывод под настроение.
Метрика — это действие. Клик. Ввод текста. Скачивание. Генерация. Отправка формы. Как правило — нажатия и тапы: так пользователь «разговаривает» с экраном.
Главное: без Y вы не извлечёте результат из теста. X без Y — просто вкус «мне так красивее».