Definición
El enfoque autorregresivo se usa ampliamente en los modelos de lenguaje: el modelo genera texto un fragmento a la vez, teniendo en cuenta en cada paso el contexto ya creado. Estos modelos también se usan en series temporales, audio y otros datos secuenciales.
Ejemplo
El modelo de lenguaje toma el inicio de la frase «Hoy quiero...» y predice la continuación más probable; después usa ese nuevo fragmento para el siguiente paso.
Por qué importa
El término es importante para entender la IA generativa: muchas respuestas se crean no mediante un solo acto instantáneo, sino por predicciones sucesivas.
Cómo funciona
El modelo estima la probabilidad del siguiente token o valor a partir de la secuencia previa. Una vez seleccionado el siguiente elemento, se añade al contexto.
Dónde se usa
- generación de texto
- pronóstico de series temporales
- generación de audio
Limitaciones
La generación secuencial puede acumular errores. Además, el modelo está limitado por la ventana de contexto y puede perder relaciones a larga distancia.
FAQ
¿Por qué es útil conocer el término «Modelos autorregresivos»?
El término es importante para entender la IA generativa: muchas respuestas no se crean en un solo acto instantáneo, sino mediante predicciones sucesivas.