higward / i10012023

Гипотеза

Мы видим проблему, что клиенты отменяют заказ по причине неверно выбранного адреса доставки. Поэтому если мы добавим адрес доставки в кнопку "Оформить заказ" для всех клиентов, то сможем добиться снижения отмен заказов по причине неверно выбранного адреса доставки.

Технические

• нужны все клиенты кто попала в эксперимент
• нужны клиенты с ios\android

Метрики

• Снижение количества отмененных заказов - на каких данных смотрим и как сравниваем?

  • Число отмененных заказов на общее число заказов. Он покажет, изменилось ли вообще число отмен после добавление фичи
  • Процент отмененных заказов по причине некорректного адреса: делим эти отмены на все отмены. Он покажет изменение пропорции таких заказов во времени
  • Общая конверсия: делим завершенные заказы на все заказы. Отслеживание этой метрики позволит нам увидеть общее изменение в поведение пользователь.

• Снижение количества обращений на горячую линию с просьбой отменить заказ и переоформить на другой адрес - на каких данных смотрим и как сравниваем?

  • Число звонков за период. Общее изменение числа звонков.
  • Процент звонков по вопросам отмены заказов или переоформление на другой адрес по причине некорректного адреса: делим число таких звонков на общее число звонков. Нужно не забыть отделить именно такие отмены от других отмен по другим причинам (недостаток средств, не может принять, просто передумал)
  • Насколько большие изменения запросил покупатель. Мы можем предположить, что если требуется поменять адрес немного (например корпус дома или квартиру, или малое изменение наименование улицы) то пользователь возможно и увидел добавление адреса, но не проверил полностью; но если изменения большие (целая улица с радикально другим названием), значит пользователь вообще не обратил внимание на изменение на кнопке.

Возможно с помощью звонков мы сможем собрать фид-бэк про кнопку, или указать на нее, но некоторые пользователи могут воспринять это как упрек.

• Рост конверсии (возможен, т.к. не все клиенты которые отменили заказ, сделали его повторно) - на каких данных смотрим и как сравниваем?

  • Изменение конверсии: делим число завершенных заказов на общее число заказов. Отслеживание общее изменение конверсии во времени поможет увидеть общее влияние добавленной фичи.
  • Повторные обращения: отследить число покупателей, которые покупали еще раз. Это покажет общее изменение пользовательской лояльности и удовлетворенности.

Так же мы можем показать бизнесу уменьшение времени и цены доставки, или иные KPI, связанные с расходами на доставку или обслуживание горячей линии. Например, уменьшение числа переоформлений адреса, когда доставка уже в пути, может уменьшить время в пути доставщиков, увеличив общее число обработанных заказов на человека. Уменьшение числа звонков на линию.

• Снижение повторных заказов по причине неверно выбранного адреса - на каких данных смотрим и как сравниваем?

  • Общее число повторных заказов в общем числе пользователь.
  • Число повторных заказов от пользователей, которые до этого выбирали некорректный адрес, в общем числе пользователь, совершивших ошибок. Отношение к общему числу ошибающихся необходимо, так как если мы предполагаем, что новая фича уменьшило число ошибок при вводе данных, мы увидим уменьшение таких пользователь в абсолютном значении, но не должны увидеть такое уменьшение в процентном.

• Возможно снижение скорости прохождения чек-аута за счет более удобного расположения элемента адреса (клиенты часто сверяют адрес доставки который установлен в приложении со своим) - на каких данных смотрим и как сравниваем?

  • Среднее время чек-аута: отследить время от начала прохождения чет-аута до его окончание. Позволит увидеть влияние фичи на общее время
  • Среднее время проводимое на странице с адресом. Позволит увидеть как много времени пользователь проводит на странице адреса. Мы модем предположить, что наличие более удобного расположение адреса мы уменьшим это время.
  • Процент бросивших заполнение.
  • Процент людей переходивших на страницу с адресом, среди всех людей прошедших чек-аут. Мы ожидаем уменьшение таких людей.

Рассчитать

H₀ - нулевая гипотеза, изменение в кнопке не повлияло на пользователей, и не изменило число обращений.
H₁ - альтернативная гипотеза, изменение в кнопке изменило число обращений.

• надежность эксперимента - 95% - почему именно такое значение?

Надежность показывает уверенность в эксперименте, показывает баланс совершить ошибку первого или второго рода. Он показывает что если совершить эксперимент много раз мы получим точный результат в 95% случаев. Значение 95 достаточно стандартный баланс. Мы можем брать большее значение если влияние от эксперимента высоко, а цена провидение низка, так как требует увеличение количества участников.

• допустимая погрешность - 5% - почему именно такое значение?

Вероятность допустить ошибку первого рода (отклонить Н₀, когда она истина). Меньшая погрешность даст нам большую уверенность, что Н₁ истина, но растет ошибка второго рода.

• длительность эксперимента - как будем рассчитывать и какие данные нужны?

Оно будет зависеть от нескольких факторов: ожидаемый эффект, необходимая надежность, мощность эксперимента, размеры групп.

• количество клиентов участвующих в эксперименте (доля) - как будем рассчитывать и какие данные нужны?

Предположим наш бейзлайн это 2% отказа, и мы верим что наше изменение принесет относительное изменение в 20%, тогда наше количество клиентов с новым интерфейсом будет равнятся ~33.000 человек на вариацию. Использовал этот калькулятор.

• сколько групп экспериментов должно быть и какие? - например: А\Б или А\А\Б или А\Б\Б или А\Б\С\Д

Б/Б или А/А часть теста позволит нам проверить, коррелелируются ли наш p-value с числом ложно-позитивных ответов. Нам нужны две группы: одна со старым интерфейсом, вторая с новым.

Последовательность: -Выбрать одно изменение. -Выбрать нашу цель. -Выбрать метрики. -Закрепить обе версии - мы должны быть уверены, что тестируем. -Разбить людей на группы. -Выбрать необходимую надежность. -Убедиться что в данный момент проходит только один тест.

-Запустить тест, возможно толь для малой части, что бы убедиться в работоспособности. -Собрать данные.

-Рассчитать метрики. -Рассчитать насколько корректны наши предположения.

-Сделать выводы и провести действия, или не проводить.

Другие варианты: Опрос? Анализ действий пользователей?