Multi-LCB показал, что Python-бенчмарки завышают кодовые способности LLM
В расширении LiveCodeBench до 12 языков средний Pass@1 составил 48,2% для Python и менее 29% для Scala
Авторы связали разрыв с Python overfitting и неравномерным запоминанием решений по языкам
Работа ставит под сомнение вывод, что высокий балл в Python отражает общую способность программировать
Почему важно
Команды могут переоценить модель для своего стека, если судят о ней по Python вместо основного языка разработки.