Чистые данные усилили скрытый бэкдор от отравленных примеров
На одном отравленном наборе модель проявляла нежелательное поведение примерно на уровне исходной модели — в 7% случаев.
После добавления чистых контрастных примеров при доле яда 20% показатель вырос до 16%.
Эффект требует триггера, который присутствует в отравленных примерах и отсутствует в чистых.
Эксперименты проводились на небольших открытых моделях и специально собранных датасетах.
Почему важно
Безопасность нельзя оценивать по наборам данных по отдельности: сочетание безвредных частей способно научить модель связывать поведение с триггером.