Что такое снижение алгоритмической предвзятости
Методы, которые помогают уменьшить несправедливые или систематические перекосы в данных, моделях и автоматических решениях.
Определение
Снижение предвзятости начинается не с модели, а с понимания задачи и данных. Нужно проверить, какие группы представлены хуже, какие признаки могут приводить к дискриминации, как распределены ошибки и какие критерии справедливости важны. Затем применяют очистку данных, балансировку, ограничения, аудит и мониторинг.
Пример
При модели найма команда проверяет, не ухудшается ли качество рекомендаций для кандидатов из разных регионов, возрастных групп или образовательных траекторий.
Почему важно
Термин важен для ответственного ИИ: модель может быть точной в среднем, но несправедливой для отдельных групп.
Как работает
Подходы бывают до обучения, во время обучения и после него: улучшение данных, изменение функции потерь, калибровка результатов и регулярный аудит.
Где применяется
- найм и HR
- кредитный скоринг
- модерация и рекомендации
Ограничения
Нельзя просто «удалить чувствительный признак» и считать проблему решённой: другие признаки могут косвенно его воспроизводить.