Мы видим проблему, что клиенты отменяют заказ по причине неверно выбранного адреса доставки. Поэтому если мы добавим адрес доставки в кнопку "Оформить заказ" для всех клиентов, то сможем добиться снижения отмен заказов по причине неверно выбранного адреса доставки.
- нужны все клиенты кто попала в эксперимент
- нужны клиенты с ios\android
-
- Число отмененных заказов на общее число заказов. Он покажет, изменилось ли вообще число отмен после добавление фичи
- Процент отмененных заказов по причине некорректного адреса: делим эти отмены на все отмены. Он покажет изменение пропорции таких заказов во времени
- Общая конверсия: делим завершенные заказы на все заказы. Отслеживание этой метрики позволит нам увидеть общее изменение в поведение пользователь.
-
Снижение количества обращений на горячую линию с просьбой отменить заказ и переоформить на другой адрес - на каких данных смотрим и как сравниваем?
- Число звонков за период. Общее изменение числа звонков.
- Процент звонков по вопросам отмены заказов или переоформление на другой адрес по причине некорректного адреса: делим число таких звонков на общее число звонков. Нужно не забыть отделить именно такие отмены от других отмен по другим причинам (недостаток средств, не может принять, просто передумал)
- Насколько большие изменения запросил покупатель. Мы можем предположить, что если требуется поменять адрес немного (например корпус дома или квартиру, или малое изменение наименование улицы) то пользователь возможно и увидел добавление адреса, но не проверил полностью; но если изменения большие (целая улица с радикально другим названием), значит пользователь вообще не обратил внимание на изменение на кнопке.
Возможно с помощью звонков мы сможем собрать фид-бэк про кнопку, или указать на нее, но некоторые пользователи могут воспринять это как упрек.
-
Рост конверсии (возможен, т.к. не все клиенты которые отменили заказ, сделали его повторно) - на каких данных смотрим и как сравниваем?
- Изменение конверсии: делим число завершенных заказов на общее число заказов. Отслеживание общее изменение конверсии во времени поможет увидеть общее влияние добавленной фичи.
- Повторные обращения: отследить число покупателей, которые покупали еще раз. Это покажет общее изменение пользовательской лояльности и удовлетворенности.
Так же мы можем показать бизнесу уменьшение времени и цены доставки, или иные KPI, связанные с расходами на доставку или обслуживание горячей линии. Например, уменьшение числа переоформлений адреса, когда доставка уже в пути, может уменьшить время в пути доставщиков, увеличив общее число обработанных заказов на человека. Уменьшение числа звонков на линию.
-
Снижение повторных заказов по причине неверно выбранного адреса - на каких данных смотрим и как сравниваем?
- Общее число повторных заказов в общем числе пользователь.
- Число повторных заказов от пользователей, которые до этого выбирали некорректный адрес, в общем числе пользователь, совершивших ошибок. Отношение к общему числу ошибающихся необходимо, так как если мы предполагаем, что новая фича уменьшило число ошибок при вводе данных, мы увидим уменьшение таких пользователь в абсолютном значении, но не должны увидеть такое уменьшение в процентном.
-
Возможно снижение скорости прохождения чек-аута за счет более удобного расположения элемента адреса (клиенты часто сверяют адрес доставки который установлен в приложении со своим) - на каких данных смотрим и как сравниваем?
- Среднее время чек-аута: отследить время от начала прохождения чет-аута до его окончание. Позволит увидеть влияние фичи на общее время
- Среднее время проводимое на странице с адресом. Позволит увидеть как много времени пользователь проводит на странице адреса. Мы модем предположить, что наличие более удобного расположение адреса мы уменьшим это время.
- Процент бросивших заполнение.
- Процент людей переходивших на страницу с адресом, среди всех людей прошедших чек-аут. Мы ожидаем уменьшение таких людей.
H0 - нулевая гипотеза, изменение в кнопке не повлияло на пользователей, и не изменило число обращений.
H1 - альтернативная гипотеза, изменение в кнопке изменило число обращений.
Надежность показывает уверенность в эксперименте, показывает баланс совершить ошибку первого или второго рода. Он показывает что если совершить эксперимент много раз мы получим точный результат в 95% случаев. Значение 95 достаточно стандартный баланс. Мы можем брать большее значение если влияние от эксперимента высоко, а цена провидение низка, так как требует увеличение количества участников.
Вероятность допустить ошибку первого рода (отклонить Н0, когда она истина). Меньшая погрешность даст нам большую уверенность, что Н1 истина, но растет ошибка второго рода.
Оно будет зависеть от нескольких факторов: ожидаемый эффект, необходимая надежность, мощность эксперимента, размеры групп.
Предположим наш бейзлайн это 2% отказа, и мы верим что наше изменение принесет относительное изменение в 20%, тогда наше количество клиентов с новым интерфейсом будет равнятся ~33.000 человек на вариацию. Использовал этот калькулятор.
Б/Б или А/А часть теста позволит нам проверить, коррелелируются ли наш p-value с числом ложно-позитивных ответов. Нам нужны две группы: одна со старым интерфейсом, вторая с новым.
Последовательность: -Выбрать одно изменение. -Выбрать нашу цель. -Выбрать метрики. -Закрепить обе версии - мы должны быть уверены, что тестируем. -Разбить людей на группы. -Выбрать необходимую надежность. -Убедиться что в данный момент проходит только один тест.
-Запустить тест, возможно толь для малой части, что бы убедиться в работоспособности. -Собрать данные.
-Рассчитать метрики. -Рассчитать насколько корректны наши предположения.
-Сделать выводы и провести действия, или не проводить.
Другие варианты: Опрос? Анализ действий пользователей?