Что такое AUC
Метрика оценки классификатора, которая показывает, насколько хорошо модель разделяет положительные и отрицательные примеры при разных порогах.
Определение
AUC часто используют вместе с ROC-кривой. Метрика помогает понять, насколько модель способна ранжировать примеры: например, ставить более высокий риск подозрительным операциям, чем обычным. AUC удобна, когда нужно оценить качество не при одном пороге, а в целом по диапазону решений.
Пример
Антифрод-модель присваивает операциям риск. Высокий AUC означает, что мошеннические операции чаще получают более высокий риск, чем нормальные.
Почему важно
Термин важен для сравнения моделей, особенно когда нужно выбирать порог решения под бизнес-задачу после обучения.
Как работает
Система строит зависимость между долей найденных положительных примеров и долей ложных тревог при разных порогах. AUC равна площади под этой кривой.
Где применяется
- антифрод
- медицинская диагностика
- оценка скоринговых моделей
Ограничения
AUC не показывает, как модель работает при конкретном пороге и конкретной стоимости ошибки. Для практики нужны дополнительные метрики и анализ ошибок.