Ошибка предсказания в TensorFlow

Нейросеть выдаёт числа или метки, а эталон уже известен. Ошибка показывает, насколько ответ модели расходится с правильным значением. Чем она меньше, тем ближе предсказание к цели.

Для обычных чисел часто берут средний квадрат отклонения: разницу между ответом и эталоном возводят в квадрат и усредняют по всем позициям. Другой вариант - средний модуль отклонения, где важна величина разницы без квадрата.

В задачах с классами эталон задают целым номером категории, а не длинным рядом из нулей и единиц. Сравнивают его с сырым выходом сети и получают ошибку классов. Иногда метки заранее разложены: в каждой строке одна единица и остальные нули - такой формат тоже имеет свою меру ошибки.

Со всем этим мы и будем разбираться в рамках данного раздела.