Функция activations.gelu
Функция activations.gelu применяет к входным данным
активацию GELU, которая определяется как
x * Φ(x), где Φ(x) - функция распределения
стандартного нормального распределения. Первым параметром
функция принимает тензор или массив значений. Вторым
параметром можно передать булево значение approximate,
которое включает приближенную формулу вычисления.
Синтаксис
tf.keras.activations.gelu(x, approximate=False)
Пример
Давайте применим активацию GELU к тензору чисел
1, 2, 3, 4, 5:
import tensorflow as tf
t = tf.constant([1, 2, 3, 4, 5], dtype=tf.float32)
res = tf.keras.activations.gelu(t)
print(res)
Результат выполнения кода:
tf.Tensor([0.8413447 1.9544997 2.9959502 3.9998734 4.9999986], shape=(5,), dtype=float32)
Пример
Давайте применим активацию GELU с приближенной формулой,
передав approximate=True:
import tensorflow as tf
t = tf.constant([1, 2, 3, 4, 5], dtype=tf.float32)
res = tf.keras.activations.gelu(t, approximate=True)
print(res)
Результат выполнения кода:
tf.Tensor([0.841192 1.9545977 2.9963627 3.99993 4.999996], shape=(5,), dtype=float32)
Пример
Давайте применим активацию GELU к двумерному тензору:
import tensorflow as tf
t = tf.constant([[1, 2, 3], [4, 5, 6]], dtype=tf.float32)
res = tf.keras.activations.gelu(t)
print(res)
Результат выполнения кода:
tf.Tensor(
[[0.8413447 1.9544997 2.9959502]
[3.9998734 4.9999986 6. ]], shape=(2, 3), dtype=float32)
