Что такое нормализация по батчам

Определение

Нормализация по батчам добавляет в нейросеть шаг, который выравнивает значения признаков на мини-пакете данных. Это помогает слоям получать более стабильные входы, ускоряет обучение и иногда снижает чувствительность к начальным настройкам. Метод особенно известен в глубоких сетях для изображений.

Пример

При обучении сети для распознавания изображений нормализация по батчам помогает модели быстрее сходиться и стабильнее обновлять веса.

Почему важно

Термин важен для понимания практической инженерии нейросетей: качество зависит не только от слоёв, но и от стабилизации обучения.

Как работает

Во время обучения слой считает среднее и разброс значений в мини-пакете, нормализует их и затем применяет обучаемые параметры масштаба и сдвига.

Где применяется

• глубокое обучение
• компьютерное зрение
• стабилизация обучения нейросетей

Ограничения

Метод зависит от размера батча и режима обучения или вывода. При маленьких батчах могут быть нужны альтернативные методы нормализации.