Исследователи сравнили диагнозы ИИ с разногласиями между самими врачами
Авторы создали два показателя, которые сопоставляют согласие модели с врачами и согласие врачей между собой.
Алгоритм сверяет формулировки по оценкам LLM, Международной классификации болезней и сходству текстов.
Семь ординаторов независимо оценили 360 русскоязычных диалогов, а их заключения сравнили с восемью моделями.
Несколько моделей согласовывались с экспертами не хуже, чем эксперты друг с другом, но согласие не доказывает правильность диагноза.
Почему важно
Медицинский ИИ нельзя честно оценивать по ответу одного врача, однако экспертный консенсус все равно не заменяет проверку безопасности и истины.