Что такое галлюцинации ИИ
Ошибки, при которых ИИ уверенно выдаёт выдуманную, неточную или неподтверждённую информацию.
Определение
Галлюцинации ИИ чаще всего обсуждают в языковых моделях, но похожие ошибки бывают и в других системах. Модель не знает факты в человеческом смысле: она строит вероятный ответ по данным, контексту и запросу. Поэтому она может придумать источник, неверно пересказать документ, смешать факты или уверенно ответить там, где нужно признать неопределённость.
Пример
Пользователь просит список научных статей, а модель создаёт правдоподобные названия и авторов, которых на самом деле нет.
Почему важно
Термин важен для любого, кто использует ИИ в работе: ответы нельзя автоматически считать истиной, особенно в медицине, праве, финансах и публикациях.
Как работает
Галлюцинации уменьшают с помощью проверки источников, поиска по документам, ограничений, тестирования, цитирования, ручной валидации и настройки модели под задачу.
Где применяется
- проверка ответов чат-бота
- работа с документами
- поиск фактов и источников
Ограничения
Полностью убрать галлюцинации сложно. Даже сильная модель может ошибиться, если запрос расплывчатый, данных мало или контекст противоречив.