Что такое катастрофическое забывание
Проблема, когда модель после обучения новой задаче резко теряет качество на старых задачах.
Определение
Катастрофическое забывание — это проблема, когда модель после обучения новой задаче резко теряет качество на старых задачах. Если говорить проще, это понятие помогает обучать модели, сравнивать подходы и снижать риск ошибок на новых данных. Практический смысл в том, чтобы понимать, какие возможности у инструмента действительно нужны, какие данные ему понадобятся и какие ограничения стоит проверить до внедрения.
Пример
Модель дообучили на новых документах, и она стала хуже отвечать по прежней базе знаний.
Почему важно
Это важно для систем, которые должны учиться постепенно и не ломать уже работающие навыки. Это помогает выбирать ИИ-инструменты не по громким обещаниям, а по тому, как они работают в реальной задаче.
Как работает
Сначала задачу переводят в данные и метрики, затем модель обучают, проверяют на отдельной выборке и сравнивают с альтернативами. В случае термина «Катастрофическое забывание» важно отдельно смотреть на данные, критерии качества и условия применения.
Где применяется
Используется при обучении, тестировании и настройке моделей, в автоподборе параметров, прогнозировании, классификации и рекомендательных системах.
Ограничения
Главное ограничение — зависимость от данных, метрик и условий проверки. Хороший результат на тесте не всегда означает надежную работу в реальном продукте.