Шаг обновления в PyTorch

После того как посчитана ошибка и выполнен обратный проход, веса модели слегка сдвигают, чтобы следующий прогон дал меньшее расхождение с эталоном. Размер сдвига задают при создании объекта обновления - это и есть шаг спуска по ошибке.

Самый прямой вариант опирается на текущие градиенты параметров и одну общую скорость для всех весов. Более сложные правила подстраивают скорость отдельно для каждого параметра, опираясь на историю прошлых шагов.

На практике один сдвиг весов редко достаточен: тот же набор примеров прогоняют снова и снова, каждый раз заново считая ошибку и обновляя параметры по одному и тому же порядку действий.

Отдельно смотрят на числа, которые не участвовали в подгонке: там веса не трогают, а лишь измеряют ошибку, чтобы понять, насколько решение переносится на новые данные.

Со всем этим мы и будем разбираться в рамках данного раздела.