Ухудшающий A/B-тест проверяет пользу улучшения до его разработки
Чтобы оценить цену скорости, тестовой группе можно добавить задержку загрузки вместо разработки ускоренной версии.
Эксперимент должен заметно снизить метрику, но не обнулить ее, иначе сравнение потеряет смысл.
Почему важно
Обратное вмешательство позволяет дешево проверить причинность до вложений в сложную оптимизацию.