Картинка в PyTorch

В нейросетях картинку удобно хранить как тензор: несколько изображений сразу, у каждого три цветовых канала и две пространственные оси - высота и ширина. Такой батч подают на вход слоёв, которые ищут локальные закономерности на поле пикселей.

Главный инструмент здесь - свёртка по двум осям: она сдвигает небольшое окно фильтра и собирает новые карты признаков. Для рядов и для объёмных данных есть родственные свёртки с другим числом осей.

Чтобы уменьшить размер карты и сделать отклик устойчивее к сдвигу, применяют пул: окно оставляет либо максимум, либо среднее значение. Нормализация батча выравнивает распределение по каналам внутри пакета картинок, а выключение каналов случайно обнуляет целые цветовые слои на время обучения.

Когда нужен фиксированный размер на выходе независимо от входа, помогает адаптивный пул. Вместо резкого обнуления отрицательных значений всё чаще берут гладкие функции активации.

Со всем этим мы и будем разбираться в рамках данного раздела.