Современные активации в PyTorch
Создайте ряд значений -2,
-1, 0, 1 и 2
и пропустите его через гладкую
активацию, которая не обнуляет
отрицательную часть резко.
Выведите результат.
Подготовьте карту 1 на 1
на 2 на 2 с числами
-1, 0.5, 1
и -0.5. Примените вторую
гладкую функцию из пары
современных активаций и выведите
все значения.
Возьмите случайный батч 3
на 4 на 5 на 5
и слой активации без параметров,
который мягко давит отрицательные
отклики. Выведите размеры
результата.
Сравните на одном тензоре
-3, -0.1, 0,
0.1, 3 выход
резкой активации с обнулением
минуса и выход гладкой активации.
Выведите оба ряда.
