Definición
AdaDelta es un optimizador adaptativo: diferentes parámetros del modelo reciben distintos pasos de actualización según el historial de los gradientes. El algoritmo se propuso como una forma de hacer el aprendizaje más robusto sin ajustar manualmente la tasa de aprendizaje de forma constante. Hoy se encuentra más a menudo en materiales educativos y experimentos que como opción estándar para nuevos modelos grandes.
Ejemplo
Si la red neuronal aprende demasiado rápido y la calidad fluctúa, el optimizador adaptativo puede cambiar la magnitud de las actualizaciones para distintos parámetros.
Por qué importa
El término ayuda a comprender que entrenar modelos no solo consiste en la arquitectura y los datos, sino también en la forma de actualizar los pesos.
Cómo funciona
Durante el entrenamiento, AdaDelta almacena promedios móviles de los gradientes y de las actualizaciones. Con base en ellos, escala el siguiente paso para que no sea demasiado grande ni demasiado pequeño.
Dónde se usa
- entrenamiento de redes neuronales
- experimentos con optimizadores
- proyectos de entrenamiento de deep learning
Limitaciones
El algoritmo no es universalmente el mejor. En problemas modernos, normalmente se comparan varios optimizadores, incluidos Adam y el descenso por gradiente estocástico.
FAQ
¿Por qué es útil conocer «AdaDelta»?
El término ayuda a entender que entrenar modelos no solo depende de la arquitectura y los datos, sino también de la forma en que se actualizan los pesos.