Что такое ожидаемая ошибка калибровки
Метрика, показывающая, насколько уверенность модели совпадает с фактической точностью
Определение
Ожидаемая ошибка калибровки — это метрика, показывающая, насколько уверенность модели совпадает с фактической точностью. Проще говоря, важна там, где пользователю нужна не только метка, но и честная вероятность ошибки. В оценке моделей это помогает отличать красивый результат от надежного результата, который можно применять на практике.
Пример
Модель говорит 90 процентов уверенности, но фактически права только в 70 процентах похожих случаев
Почему важно
Важна там, где пользователю нужна не только метка, но и честная вероятность ошибки
Как работает
Сначала выбирают метрику, затем собирают проверочную выборку и сравнивают предсказания модели с реальностью. Для надежности смотрят несколько метрик и отдельные группы случаев.
Где применяется
Используется в оценке качества моделей, мониторинге, сравнении метрик, проверке уверенности и выборе безопасных порогов решений.
Ограничения
Одна метрика редко описывает всю картину. Нужно учитывать стоимость ошибок, калибровку, группы пользователей и изменение данных во времени. Для «Ожидаемая ошибка калибровки» это значит: пример и метрики нужно проверять на своей задаче, а не переносить выводы из демонстрации напрямую.