Definición
La discriminación algorítmica puede producirse si los datos reflejan sesgos del pasado, si el modelo usa indicadores indirectos o si la métrica optimiza la experiencia del negocio en perjuicio de ciertos grupos. Es peligrosa porque parece neutral, aunque sus consecuencias pueden ser injustas.
Ejemplo
Un sistema de scoring puede funcionar peor con personas de zonas que históricamente han tenido menos acceso a servicios financieros, aunque no utilice de forma explícita una característica protegida.
Por qué importa
El término es importante para evaluar los riesgos de la IA en contratación, préstamos, educación, medicina, publicidad y servicios gubernamentales.
Cómo funciona
La discriminación se identifica mediante análisis de datos, comparación de errores entre grupos, auditoría de atributos, pruebas de escenarios y verificación de las consecuencias de las decisiones.
Dónde se usa
- evaluación de la equidad
- sectores regulados
- auditoría de soluciones automatizadas
Limitaciones
No toda diferencia en los resultados es discriminación, pero cualquier diferencia significativa requiere explicación, verificación y contexto.
FAQ
¿Por qué es útil conocer «Discriminación algorítmica»?
El término es importante para evaluar los riesgos de la IA en contratación, préstamos, educación, medicina, publicidad y servicios gubernamentales.