Модуль дальше в PyTorch

У обучаемых тензоров внутри сети есть строковые имена. Их удобно читать вместе с формой, когда сравнивают две архитектуры или ищут один конкретный вес.

Несколько однотипных слоёв можно собрать в список, а разные блоки - положить в словарь по своим ключам. Тогда в прямом проходе обращаются к нужному фрагменту по индексу или по метке.

Иногда нужен обход только непосредственных потомков модуля, без вложенных внуков. Отдельно важна загрузка сохранённого словаря весов: имена ключей должны совпадать с параметрами модели, иначе подстановка не пройдёт.

Отдельный приём - заморозка слоя: у его весов отключают запись градиента, и они не участвуют в обновлении при обучении остальной части сети.

Со всем этим мы и будем разбираться в рамках данного раздела.