Что такое ROC-кривая
график, который показывает соотношение между долей верно найденных положительных примеров и долей ложных срабатываний при разных порогах
Определение
ROC-кривая — это график, который показывает соотношение между долей верно найденных положительных примеров и долей ложных срабатываний при разных порогах. Проще говоря, помогает выбирать порог классификатора и сравнивать модели, особенно когда важно видеть компромисс между пропусками и ложными тревогами. Например, антифрод-команда строит ROC-кривую, чтобы выбрать порог, при котором модель ловит больше мошенничества без чрезмерной блокировки клиентов.
Пример
антифрод-команда строит ROC-кривую, чтобы выбрать порог, при котором модель ловит больше мошенничества без чрезмерной блокировки клиентов
Почему важно
Помогает выбирать порог классификатора и сравнивать модели, особенно когда важно видеть компромисс между пропусками и ложными тревогами.
Как работает
Сначала задачу переводят в данные, признаки, действия или метрики, затем модель обучают, проверяют на отдельной выборке и сравнивают с базовым решением. В случае термина «ROC-кривая» важно показать не только техническое определение, но и то, как это проявляется в реальном продукте, данных, интерфейсе или процессе внедрения.
Где применяется
Используется при обучении, оценке и настройке моделей, в прогнозировании, классификации, ранжировании, рекомендациях и автоматизации решений.
Ограничения
Главный риск — принять хороший результат на тесте за гарантию работы в реальности. Нужны отдельная проверка, мониторинг после запуска и контроль качества данных. Для «ROC-кривая» особенно важно проверять качество на своей задаче, потому что демонстрация, общий рейтинг или одно определение не гарантируют пригодность инструмента.