Слои модели в PyTorch

Нейросеть складывают из слоёв: каждый слой принимает таблицу чисел и возвращает другую таблицу. Простейший рабочий блок связывает входные ячейки с выходными через набор весов и смещений. Так модель учится подбирать преобразование под задачу.

Не каждое промежуточное значение оставляют как есть. Часть слоёв активирует числа: отрицательные могут обнуляться, а положительные идти дальше без изменения. Есть и другие правила сжатия и смещения диапазона, когда нужны гладкие кривые между нулём и единицей или между минус единицей и единицей.

При обучении иногда намеренно выключают случайную долю ячеек, чтобы модель не зазубривала тренировочные примеры. Несколько слотов подряд удобно собирают в одну цепочку: данные проходят через блок за блоком до финального ответа.

Со всем этим мы и будем разбираться в рамках данного раздела.