JetBrains показала, что расход токенов почти не объясняет результат инженера
Авторы сопоставили пять недель использования агентов с коммитами 404 инженеров JetBrains.
При сопоставимом числе коммитов 90-й перцентиль расхода токенов превышал 10-й в 39–240 раз.
У одного инженера удвоение расхода токенов было связано примерно с 10% роста числа коммитов.
Почти в девяти из десяти оценок сотрудники применяли агентов также для анализа, поиска и планирования.
Почему важно
Токены подходят для учета затрат, но KPI на их основе поощряет видимое потребление ресурса вместо ценности решенных задач.