Обучение дальше в PyTorch

После цикла с обратным проходом и обновлением весов остаются тонкости: как отделить затухание весов от шага, как не дать градиенту разрастись и как менять скорость обучения по ходу эпох.

Постоянная скорость не всегда удобна. Её умножают через фиксированное число эпох, снижают по экспоненте или по косинусу, а иногда ждут, пока ошибка на проверке перестанет падать.

Для двух классов с одним числом на пример удобна ошибка, которая сама переводит логит в вероятность и сравнивает её с меткой ноль или один.

Когда отклонение маленькое, его часто штрафуют квадратом, а при большом разрыве переходят к модулю, чтобы выбросы не ломали обучение.

Со всем этим мы и будем разбираться в рамках данного раздела.