Что такое алгоритмическая дискриминация
Ситуация, когда автоматическая система несправедливо ухудшает положение людей из-за признаков, данных или правил принятия решений.
Определение
Алгоритмическая дискриминация может возникнуть, если данные отражают прошлые перекосы, модель использует косвенные признаки или метрика оптимизирует удобство бизнеса в ущерб отдельным группам. Она опасна тем, что выглядит нейтральной, хотя последствия могут быть несправедливыми.
Пример
Система скоринга может хуже оценивать людей из районов с исторически меньшим доступом к финансовым услугам, даже если явно не использует защищённый признак.
Почему важно
Термин важен для оценки рисков ИИ в найме, кредитовании, образовании, медицине, рекламе и государственных услугах.
Как работает
Дискриминацию выявляют через анализ данных, сравнение ошибок по группам, аудит признаков, тестирование сценариев и проверку последствий решений.
Где применяется
- оценка справедливости
- регулируемые отрасли
- аудит автоматических решений
Ограничения
Не всякое различие в результатах является дискриминацией, но любое значимое отличие требует объяснения, проверки и контекста.