Что такое предвзятость ИИ
Ситуация, когда ИИ-система систематически даёт более выгодные или неблагоприятные результаты для отдельных групп, случаев или признаков.
Определение
Предвзятость ИИ возникает из-за данных, постановки задачи, метрик, разметки или контекста применения. Модель может воспроизводить ошибки прошлого, усиливать неравенство или хуже работать для редких групп. Это не всегда означает злой умысел, но последствия могут быть серьёзными.
Пример
Если система найма обучалась на истории компании, где раньше чаще нанимали людей одного профиля, она может занижать кандидатов с другим опытом.
Почему важно
Термин важен для бизнеса и пользователей: красивый ИИ-сервис может давать несправедливые результаты, если его не проверять на разных группах и сценариях.
Как работает
Предвзятость ищут через аудит данных, сравнение качества по сегментам, анализ ошибок, проверку признаков и тесты на дискриминационные эффекты.
Где применяется
- проверка моделей на справедливость
- аудит данных
- оценка рисков в найме, кредитах и модерации
Ограничения
Полностью убрать предвзятость сложно, потому что само определение справедливости зависит от задачи. Важно явно выбирать критерии и документировать компромиссы.