Ошибка предсказания в PyTorch

При обучении модель сравнивают с эталоном: насколько выданные числа расходятся с тем, что должно получиться. Одна мера смотрит на средний квадрат отклонения - крупные промахи вносят больший вклад, чем мелкие.

Другая мера берёт модуль отклонения: вклад каждого элемента растёт линейно, без усиления редких больших ошибок. Обе подходят, когда эталон - дробные числа той же формы, что и предсказание.

Если же нужно угадать номер класса, сравнивают сырые оценки по классам и целую метку правильного класса. Здесь важен другой смысл ошибки, чем у регрессии по дробным значениям.

За один проход через модель считают сразу несколько примеров. Отдельные числа ошибки можно свести по пакету - например, усреднить или сложить, чтобы получить одно итоговое значение для шага обучения.

Со всем этим мы и будем разбираться в рамках данного раздела.