Что такое авторегрессионные модели
Модели, которые предсказывают следующий элемент последовательности, опираясь на предыдущие элементы.
Определение
Авторегрессионный подход широко используется в языковых моделях: модель генерирует текст по одному фрагменту, каждый раз учитывая уже созданный контекст. Такие модели также применяются во временных рядах, аудио и других последовательных данных.
Пример
Языковая модель получает начало фразы «Сегодня я хочу...» и предсказывает вероятное продолжение, затем использует новый фрагмент для следующего шага.
Почему важно
Термин важен для понимания генеративного ИИ: многие ответы создаются не одним мгновенным актом, а последовательным предсказанием.
Как работает
Модель оценивает вероятность следующего токена или значения на основе прошлой последовательности. После выбора следующего элемента он добавляется в контекст.
Где применяется
- генерация текста
- прогноз временных рядов
- генерация аудио
Ограничения
Последовательная генерация может накапливать ошибки. Также модель ограничена контекстным окном и может терять дальние связи.