Функция nn.relu

Функция nn.relu применяет к переданному тензору функцию активации ReLU (Rectified Linear Unit). Первым параметром функция принимает тензор с данными. Вторым параметром можно передать имя операции. Функция возвращает тензор того же типа и формы, в котором все отрицательные элементы заменены нулями, а положительные остались без изменений.

Синтаксис

tf.nn.relu(features, name=None)

Пример

Давайте применим функцию к тензору с положительными и отрицательными числами:

import tensorflow as tf

t = tf.constant([-2, -1, 0, 1, 2])
res = tf.nn.relu(t)
print(res)

Результат выполнения кода:

tf.Tensor([0 0 0 1 2], shape=(5,), dtype=int32)

Пример

Давайте применим функцию к двумерному тензору:

import tensorflow as tf

t = tf.constant([[-1, 2, -3], [4, -5, 6]])
res = tf.nn.relu(t)
print(res)

Результат выполнения кода:

tf.Tensor(
[[0 2 0]
 [4 0 6]], shape=(2, 3), dtype=int32)

Пример

Давайте применим функцию к тензору с типом float32:

import tensorflow as tf

t = tf.constant([-1.5, 0.0, 2.5, -3.5], dtype=tf.float32)
res = tf.nn.relu(t)
print(res)

Результат выполнения кода:

tf.Tensor([0. 0. 2.5 0. ], shape=(4,), dtype=float32)

Смотрите также

функцию relu6,
которая ограничивает выход ReLU значением 6
функцию leaky_relu,
которая применяет Leaky ReLU к тензору
функцию elu,
которая применяет экспоненциальную линейную активацию
функцию sigmoid,
которая применяет сигмоидную активацию к тензору