Shumailov и др. — AI models collapse when trained on recursively generated data
Вид: научная статья (Nature)
Коротко
Вопрос: что происходит с моделями, если значительная часть их обучающих данных создана предыдущими моделями?
Ответ: По Shumailov и соавторам, неразборчивое использование данных, созданных моделями, при обучении вызывает необратимые дефекты в получаемых моделях (model collapse), при которых исчезают хвосты исходного распределения.
Тезисы
Т1. Неразборчивое использование данных, созданных моделями, вызывает необратимые дефекты: хвосты исходного распределения исчезают
- Аргумент: это находка, о которой авторы пишут от первого лица.
- Цитата: «We find that indiscriminate use of model-generated content in training causes irreversible defects in the resulting models, in which tails of the original content distribution disappear.»
Т3. Если часть исходных данных сохраняется, дообучение идёт лучше, а ухудшение качества лишь небольшое
- Аргумент: так описан режим десять эпох с сохранением доли исходных данных.
- Цитата: «We find that preservation of the original data allows for better model fine-tuning and leads to only minor degradation of performance.»
Т4. Данные о реальных взаимодействиях людей с системами, по Shumailov и соавторам, будут всё ценнее при наличии контента LLM в интернет-данных
- Аргумент: так авторы завершают реферат, оценивая значение человеческих данных.
- Цитата: «Indeed, the value of data collected about genuine human interactions with systems will be increasingly valuable in the presence of LLM-generated content in data crawled from the Internet.»
Критика
- Shumailov и соавторы оговаривают пределы опытов: «To be precise, in all experiments, generational learning is only performed on a finite (usually small) number of generations, whereas claims of the section ‘Theoretical intuition’ are mostly presented in the limit of generations going to infinity.»