交叉熵

$$H(P,Q)=-\sum _{i}P(x_i)\log Q(x_i)$$

• $P(x_i)$: 真实概率，分类任务中常常是 One-hot 编码
• $Q(x_i)$: 预测概率

Backward

$$L=-\sum _{j=1}^C{y}_j\log p_j$$ $$\frac{\partial L}{\partial p_j}=-\frac{y_j}{p_j}$$