Функция nn.gelu

Функция nn.gelu применяет к тензору активацию GELU (Gaussian Error Linear Unit). Первым параметром функция принимает входной тензор. Вторым параметром можно передать булево значение approximate, которое включает приближенную формулу вычисления.

Синтаксис

tf.nn.gelu(features, [approximate])

Пример

Давайте применим активацию GELU к тензору 1, 2, 3, 4, 5:

import tensorflow as tf

t = tf.constant([1, 2, 3, 4, 5], dtype=tf.float32)
res = tf.nn.gelu(t)
print(res)

Результат выполнения кода:

tf.Tensor([0.841192 1.9545977 2.9963627 3.99993 4.9999995], shape=(5,), dtype=float32)

Пример

Давайте применим активацию GELU с приближенной формулой:

import tensorflow as tf

t = tf.constant([1, 2, 3, 4, 5], dtype=tf.float32)
res = tf.nn.gelu(t, approximate=True)
print(res)

Результат выполнения кода:

tf.Tensor([0.841192 1.9545977 2.9963627 3.99993 4.9999995], shape=(5,), dtype=float32)

Пример

Давайте применим активацию GELU к двумерному тензору:

import tensorflow as tf

t = tf.constant([[1, 2, 3], [4, 5, 6]], dtype=tf.float32)
res = tf.nn.gelu(t)
print(res)

Результат выполнения кода:

tf.Tensor(
[[0.841192  1.9545977 2.9963627]
 [3.99993   4.9999995 5.9999995]], shape=(2, 3), dtype=float32)

Смотрите также

функцию relu,
которая применяет активацию ReLU
функцию leaky_relu,
которая применяет активацию Leaky ReLU
функцию elu,
которая применяет активацию ELU
функцию silu,
которая применяет активацию SiLU