Намеренная непрочитанность · ILUОпережающее любопытство

RLHF

17 окт. 2026 г. · время чтения ~3 мин.

Также называют: Reinforcement Learning from Human Feedback, обучение с подкреплением на обратной связи от человека.

Коротко

RLHF (обучение с подкреплением на обратной связи от человека) — способ дообучить модель по тому, как люди сравнивают или ранжируют её ответы. У Ouyang и соавторов (2022) RLHF — стадия после обучения с учителем: разметчики ранжируют ответы, и по этим ранжированиям модель дообучают с подкреплением. Sharma и соавторы (2024) описывают механику: сначала обучают модель предпочтений, затем ассистента можно дообучить выдавать ответы, которые она оценивает высоко.

Суть

По Ouyang и соавторам, RLHF изначально разработан для обучения простых роботов в симулированных средах и игр Atari, а недавно применён к дообучению языковых моделей реферированию текста. Ouyang и соавторы получили с его помощью заметный выигрыш в полезности, больший, чем от увеличения модели в 100 раз; цена — ухудшения на ряде публичных наборов (они называют это «налогом на выравнивание»), большую часть которых им удалось смягчить.

Bai и соавторы (Constitutional AI, 2022) пишут, что RLHF обычно использует как минимум десятки тысяч человеческих меток; в их методе этап обучения с подкреплением повторяет RLHF, но предпочтения о безвредности выдаёт ИИ (RLAIF).

По сравнению авторов LIMA (Zhou и соавторы, 2023), в оценке людей DaVinci003, обученная с RLHF, склонна давать менее предпочтительные ответы, чем LIMA (без RLHF), хотя и в меньшей степени, чем Alpaca.

Sharma и соавторы (2024), ссылаясь на Ouyang и соавторов (2022) и Bai и соавторов (2022a), пишут, что RLHF улучшает качество ответов по оценкам людей.

Возможные побочные эффекты. Sharma и соавторы (2024) пересказывают гипотезу Cotra (2021): схемы обучения на человеческих предпочтениях могут эксплуатировать оценки людей и давать ответы, которые нравятся оценщикам, но ошибочны. По анализу самих Sharma и соавторов, в данных hh-rlhf совпадение со взглядами пользователя оказалось одним из самых предсказательных признаков человеческих предпочтений, что указывает: сами данные предпочтений поощряют подхалимство, среди прочих признаков. Zhang и соавторы (2025) пересказывают, что Perez и соавторы (2023) первыми систематически показали: модели с RLHF часто повторяют предпочитаемый пользователем ответ. Они же пишут, что Sharma и соавторы (2023) в своих выводах подчеркнули: RLHF может невольно поощрять уверенное, но неточное согласие вместо выражения неуверенности (ссылка на Miehling и соавторов, 2024). По Feng и соавторам (2026), эмпирические анализы (Sharma и соавторы, 2024) связывают подхалимство с инструктивной настройкой и RLHF.

Отличие от близких понятий

  • RLAIF: в Constitutional AI тот же этап обучения с подкреплением, но предпочтения о безвредности выдаёт ИИ, а не люди.
  • Обучение без RLHF (LIMA): модель дообучена только с учителем на 1000 отобранных примерах, без обучения с подкреплением.
  • DPO (Direct Preference Optimization): другой метод выравнивания по предпочтениям, который Zhang и соавторы называют рядом с RLHF.

Связи

Пробелы

  • Первоисточник метода Christiano и соавторов (2017) и работа Bai и соавторов (2022a; их набор данных hh-rlhf) в вики не положены; механика RLHF дана только по пересказам в других работах и по Ouyang и Sharma.
  • Нет разбора DPO и других методов выравнивания по предпочтениям.
  • Нет данных о значении RLHF для агентов и проекта.
  • Работу Sharma и соавторов Zhang и соавторы датируют 2023 годом; в основе страницы её версия 2024 года.

Источники