Definición
En los métodos actor-crítico hay dos roles. El actor propone una acción en el entorno y el crítico evalúa el beneficio esperado y ayuda al actor a aprender más rápido. Este enfoque se usa a menudo cuando el agente debe tomar decisiones secuenciales: en robótica, juegos, gestión de recursos u optimización de rutas.
Ejemplo
El robot aprende a caminar: el actor elige el movimiento de la pierna y el crítico evalúa si ayudó a mantener el equilibrio y a acercarse a la meta.
Por qué importa
El término es importante para entender agentes autónomos y sistemas que no solo clasifican datos, sino que aprenden a actuar en un entorno cambiante.
Cómo funciona
El agente recibe el estado del entorno, selecciona una acción, recibe una recompensa y actualiza dos partes del modelo: la estrategia de acción y la función de evaluación.
Dónde se usa
- aprendizaje por refuerzo
- robótica
- agentes autónomos y juegos
Limitaciones
Los métodos pueden ser inestables, requerir muchas simulaciones y ser sensibles a las recompensas. Una recompensa mal especificada puede llevar a un comportamiento inesperado del agente.
FAQ
¿Por qué es útil conocer “Actor-Critic Methods”?
El término es importante para entender agentes autónomos y sistemas que no solo clasifican datos, sino que aprenden a actuar en un entorno cambiante.