激活函数

以下是一些常见的激活函数：

ReLU

一个里程碑，解决了 Sigmoid 和 tanh 的梯度消失问题，计算极其简单：

f (x) = max (0, x)

f^{'} (z) = {0, z < 0 1, z \geq 0

为解决 ReLU 的死神经元问题，在负半轴引入了一个小量 $α$ ，避免梯度完全消失：

f (z) = max (α z, z)

f^{'} (z) = {α, z < 0 1, z \geq 0

结合输入 $x$ 和标准正态的 CDF：

GE LU (x) = x \cdot Φ (x)

随着 $x$ 的增大， $Φ (x)$ 趋近于 1，输出趋近于 $x$ ；随着 $x$ 的减小， $Φ (x)$ 趋近于 0，输出趋近于 0。

常用 tanh 近似：

0.5 x (1 + tanh [2/ π (x + 0.044715 x^{3})])

GE L U^{'} (x) = x \cdot f (x) + Φ (x)

其中 $f (x)$ 为标准正态的概率密度函数。

S i LU (x) = x \cdot σ (x) = \frac{x}{1 + e ^{- x}}

与 ReLU 相似， $x$ 增大时趋近于 1， $x$ 减小时趋近于 0。

S i L U^{'} (x) = σ (x) + S i LU (x) (1 - σ (x))

在 Llama 中的 MLP 层被采用，是一种带门控机制的结构：

Sw i G LU (x) = (S i LU (x W_{1}) ⊙ x W_{3}) W_{2}