Слои в TensorFlow

Нейросеть складывают из слоёв - готовых блоков, которые принимают тензор и возвращают новый тензор. Пока сеть целиком не собрана, слой можно вызвать отдельно на своих данных и посмотреть форму и числа на выходе.

Полносвязный слой связывает каждый вход с каждым выходом: из короткого ряда признаков получают другой ряд фиксированной длины. После него часто ставят активацию, которая меняет знак или масштаб отдельных ячеек. Простой вариант - обрезать отрицательные значения до нуля.

Табличный тензор перед полносвязным блоком нередко вытягивают в ряд, чтобы все ячейки шли подряд в одной строке партии. Во время обучения применяют выключение части нейронов: случайная доля ячеек обнуляется, остальные пересчитываются, чтобы суммарный масштаб не прыгал.

Кроме обрезания отрицательных есть и другие активации: они по-разному ведут себя на отрицательных участках и на больших положительных числах.

Со всем этим мы и будем разбираться в рамках данного раздела.