softmax

Forward

$$y=softmax(x)$$ $$x=[x_1,\dots ,x_n],y=[y_1,\dots ,y_n]$$

则有

$$y_i=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$$

Note

相当于对输入取指数后计算各项在所有项中的权重。

为保证数值稳定性，实际应用中有时会在计算前减去最大值：

$$m=\underset{i}{\max }{x}_i$$ $$y_i=\frac{e^{x_i-m}}{{\sum }_{j=1}^n{e}^{x_j-m}}$$

结果数值上完全相等。

Backward

分两种情况讨论：

若 $i=j$：

$$\frac{\partial y_i}{\partial x_j}=\frac{{\sum }_{k=1}^n{e}^{x_k}{e}^{x_i}-e^{x_i}\cdot e^{x_i}}{{\left({\sum }_{k=1}^n{e}^{x_k}\right)}^2}=y_i\cdot \frac{{\sum }_{k=1}^n{e}^{x_k}-e^{x_i}}{{\sum }_{k=1}^n{e}^{x_k}}=y_i(1-y_i)$$

若 $i\ne j$：

$$\frac{\partial y_i}{\partial x_j}=-\frac{e^{x_i}}{{\left({\sum }_{k=1}^n{e}^{x_k}\right)}^2}\cdot e^{x_j}=-y_i{y}_j$$

可以合并写作：

$$\frac{\partial y_i}{\partial x_j}=y_i({\delta }_{ij}-y_j)$$

其中

$${\delta }_{ij}=\{\begin{array}{r}1,i=j\\ 0,i\ne j\end{array}$$

最后，对于梯度：

$$\frac{\partial \mathcal{L}}{\partial x_j}=\sum _i\frac{\partial \mathcal{L}}{\partial y_i}\cdot \frac{\partial y_i}{\partial x_j}=y_j\left(\frac{\partial \mathcal{L}}{\partial y_j}-\sum _{i\ne j}\frac{\partial \mathcal{L}}{\partial y_i}\cdot y_i\right)$$

写成矩阵形式，对于

$$Y=softmax(X)$$

有

$$dX=Y\odot (dY-rowsum(dY\odot Y))$$