Константин Крестников связал правдивость малых LLM со сжимаемостью данных
На случайных ошибках точность моделей росла с 65% до 85% по мере увеличения размера
При единой согласованной ложной системе точность падала до случайных 45–51%
Добавление конкурирующих ложных правил возвращало преимущество правильной версии; при десяти правилах точность достигла 88%
Почему важно
Правдоподобие ответа может отражать структурную простоту обучающих данных, а не способность модели распознавать истину.