Другие расписания скорости в PyTorch
Подключите к оптимизатору
правило, где скорость на
каждой эпохе умножается
на одно и то же число
меньше единицы. Задайте
начальную скорость 0.1
и множитель 0.9,
сделайте три шага расписания
и выведите текущую скорость.
Создайте расписание, которое
плавно ведёт скорость по
косинусу от начального
значения до нуля за 10
эпох. Начальная скорость
0.05. Выведите скорость
на нулевой и на пятой эпохе.
Когда ошибка на проверке
не улучшается несколько
эпох подряд, скорость
можно уменьшить автоматически.
Настройте такое правило
с терпением 2 эпохи
и коэффициентом 0.5.
Подайте две одинаковые
ошибки 1.0 и выведите
скорость после второго
такого сигнала.
Сравните два подхода на
одной начальной скорости
0.2: экспоненциальное
умножение на 0.8 за
4 шага и косинусное
расписание на 4 эпохи
до нуля. Выведите обе
итоговые скорости.
