Что такое отравление данных
Атака или ошибка, при которой вредные данные попадают в обучение и ухудшают поведение модели.
Определение
Отравление данных — это атака или ошибка, при которой вредные данные попадают в обучение и ухудшают поведение модели. Если говорить проще, это понятие помогает оценивать риски, ответственность, безопасность и соответствие требованиям. Практический смысл в том, чтобы понимать, какие возможности у инструмента действительно нужны, какие данные ему понадобятся и какие ограничения стоит проверить до внедрения.
Пример
Злоумышленник добавляет в обучающую выборку специально искаженные примеры, чтобы модель ошибалась в нужных случаях.
Почему важно
Отравление данных важно для безопасности ИИ, особенно когда модель учится на пользовательском контенте. Это помогает выбирать ИИ-инструменты не по громким обещаниям, а по тому, как они работают в реальной задаче.
Как работает
Сначала определяют заинтересованные стороны, данные и возможный вред, затем вводят проверки, ограничения, аудит и ответственность. В случае термина «Отравление данных» важно отдельно смотреть на данные, критерии качества и условия применения.
Где применяется
Важно в продуктах, где ИИ влияет на людей, персональные данные, безопасность, юридические риски или принятие решений.
Ограничения
Риски меняются вместе с законами, продуктом и данными, поэтому такие страницы требуют регулярной редакционной проверки.