Авито вывела нейросеть из минуса, сменив лосс и разрезав общую метрику
Первый A/B-тест нейросети снизил долю пользователей с контактами на 6%; еще две модели тоже уступили CatBoost.
После пяти итераций доля пользователей с контактами выросла на 4,3%, а доля совершивших сделку — на 0,8%.
Общая офлайн-метрика скрывала просадку по контактам, поэтому команда анализировала отдельные целевые действия.
Почему важно
Масштаб данных и сильные эмбеддинги не заменяют метрику, которая различает нужные продукту действия.