Schwartz и др. — Towards a Standard for Identifying and Managing Bias in Artificial Intelligence
Вид: отчёт NIST (специальная публикация 1270)
Коротко
Вопрос: как выявлять и снижать смещение в ИИ-системах, если считать ИИ социо-техническим, а не только вычислительным объектом
Ответ: Смещение в ИИ живёт не только в данных и алгоритмах, но и в институтах и людях, и социо-техническая перспектива, по Schwartz и др., приносит новые требования, многие из которых контекстные по своей природе, к процессам жизненного цикла ИИ.
Тезисы
Т1. ИИ создаётся и применяется не в вакууме, вне общественных реалий дискриминации и несправедливых практик
- Против: техно-солюционизм
- Аргумент: Schwartz и др. подчёркивают, что ИИ не отделён от общественных реалий дискриминации и несправедливых практик.
- Цитата: «AI is neither built nor deployed in a vacuum, sealed off from societal realities of discrimination or unfair practices.»
- Понятия: Социо-технический подход
Т2. Понимание ИИ как социо-технической системы признаёт, что процессы создания технологии шире её математических и вычислительных построений
- Против: техно-солюционизм
- Аргумент: так Schwartz и др. формулируют, что даёт взгляд на ИИ как на социо-техническую систему.
- Цитата: «Understanding AI as a socio-technical system acknowledges that the processes used to develop technology are more than their mathematical and computational constructs.»
- Понятия: Социо-технический подход, Техно-солюционизм
Т3. Системное смещение возникает из процедур и практик определённых институтов, из-за которых одни группы в выигрыше, а другие в проигрыше
- Аргумент: это определение системного смещения, которое принимают Schwartz и др.: преимущество одних групп и ущерб другим следуют из процедур и практик определённых институтов.
- Цитата: «Systemic biases result from procedures and practices of particular institutions that operate in ways which result in certain social groups being advantaged or favored and others being disadvantaged or devalued.»
- Понятия: Системное смещение
Т4. Человеческие эвристики и смещения неявны, поэтому одно повышение осведомлённости о смещении не гарантирует контроля над ним
- Против: расчёт на осведомлённость человека
- Аргумент: неявность человеческих смещений Schwartz и др. называют причиной, по которой осведомлённости недостаточно для контроля.
- Цитата: «Human heuristics and biases are implicit; as such, simply increasing awareness of bias does not ensure control over it.»
- Понятия: Человеческое смещение
Т5. На стадии развёртывания команды, по рекомендации Schwartz и др., должны вести непрерывный мониторинг и иметь подробные политики и процедуры о том, как обращаться с выходными данными и поведением системы
- Аргумент: это рекомендация («should»), а не описание того, что команды уже делают.
- Цитата: «Teams should engage in continuous monitoring and have detailed policies and procedures for how to handle system output and behavior.»
- Понятия: Жизненный цикл ИИ
Т6. После развёртывания исходный замысел или оценка воздействия могут уплыть, когда систему переназначают или используют непредвиденно
- Аргумент: Schwartz и др. описывают возможное расхождение между исходным замыслом и тем, как систему применяют после запуска.
- Цитата: «Once deployed, the original intent, idea, or impact assessment can drift as the application is repurposed or used in unforeseen ways, and in settings or contexts for which it was not originally intended.»
- Понятия: Дрейф контекста
Т7. То, что одной группе кажется безобидным в технологии или данных, другие могут счесть катастрофическим
- Аргумент: этим Schwartz и др. обосновывают привлечение разных сторон; сама фраза говорит о разном восприятии одной технологии разными группами.
- Цитата: «Technology or datasets that seem non-problematic to one group may be deemed disastrous by others.»
- Понятия: Многосторонняя вовлечённость
Т8. Управление, по Schwartz и др., нужно видеть как целостную социо-техническую ступень внедрения, влияющую на каждую фазу работы со смещением
- Аргумент: Schwartz и др. исходят из того, что процессы управления влияют почти на каждую сторону работы со смещением ИИ, и называют существенным видеть управление в таком виде.
- Цитата: «Governance processes impact nearly every aspect of managing AI bias. For that reason, it is essential to view governance as a holistic implementation tier, socio-technical in nature, and informing each phase of the bias management process.»
- Понятия: Управление ИИ
Т9. В процессе проектирования, который Schwartz и др. описывают как человекоцентричный, ход определяют люди и их нужды, а не техноцентричный фокус (скорее люди, чем техника)
- Аргумент: так Schwartz и др. описывают человекоцентричное проектирование (HCD): ход ведут люди и их нужды вместо техноцентричного фокуса.
- Цитата: «Humans and their needs drive the process, rather than having a techno-centric focus.»
- Понятия: Человекоцентричное проектирование
Т10. Принятие социо-технической перспективы, по Schwartz и др., приносит новые требования, многие из которых контекстные по своей природе, к процессам жизненного цикла ИИ
- Аргумент: так Schwartz и др. подытоживают, что даёт социо-технический взгляд на процессы жизненного цикла ИИ; многие из требований, по их словам, контекстные.
- Цитата: «Adopting a socio-technical perspective brings new requirements, many of which are contextual in nature, to the processes that comprise the AI lifecycle.»
- Понятия: Социо-технический подход, Жизненный цикл ИИ
Т11. В социо-технических ИИ-системах техно-солюционизм, по Schwartz и др., продвигает слишком узкий взгляд для эффективной работы с рисками смещения
- Против: техно-солюционизм
- Аргумент: так Schwartz и др. характеризуют техно-солюционизм в контексте социо-технических ИИ-систем.
- Цитата: «In the context of socio-technical AI systems, techno-solutionism promotes a viewpoint that is too narrow to effectively address bias risks.»
- Понятия: Техно-солюционизм
Связи
- Из карточки:
Социо-технический подход→ NIST: ИИ рассматривается внутри социальной системы, где он действует (Т1) - Из карточки:
Техно-солюционизм→ NIST: слишком узкий взгляд для работы с рисками смещения (Т11) - Из карточки:
Системное смещение→ NIST: смещение из процедур и практик определённых институтов (Т3) - Из карточки:
Человеческое смещение→ NIST: неявные человеческие эвристики и смещения (Т4) - Из карточки:
Жизненный цикл ИИ→ NIST: рекомендация вести мониторинг на стадии развёртывания (Т5); новые требования к процессам цикла (Т10) - Из карточки:
Дрейф контекста→ NIST: расхождение замысла и применения после развёртывания (Т6) - Из карточки:
Многосторонняя вовлечённость→ NIST: разные группы могут по-разному оценивать одну технологию (Т7) - Из карточки:
Управление ИИ→ NIST: управление влияет почти на каждую сторону работы со смещением; его нужно видеть как ступень, влияющую на каждую фазу (Т8) - Из карточки:
Человекоцентричное проектирование→ NIST: итеративный дизайн вокруг нужд пользователей (Т9)