Лента дальше в TensorFlow

Одной переменной в формуле часто недостаточно: вес, смещение и вход участвуют вместе, и производные нужны сразу по каждому из них. Лента умеет отдать список градиентов за один вызов, если указать несколько источников.

Когда результат - не одно число, а целый вектор, обычного градиента мало: нужна таблица всех частных производных, то есть якобиан. Его считывают отдельным методом на той же ленте.

Иногда стандартная цепочка правил не подходит, и шаг обратного прохода задают вручную - через свой градиент для выбранной функции.

Градиент может идти и через решение линейной системы: коэффициенты и правая часть меняются, а лента проводит производную через найденный корень.

Для пачки однотипных примеров якобиан строят по каждому элементу батча отдельно - этот приём разбирают в справочнике.

Со всем этим мы и будем разбираться в рамках данного раздела.