状态空间模型

RNN

双向循环神经网络:

LSTM

RNN 的问题

  • 长程依赖
  • 重点选择
  • 梯度消失

LSTM

分为三个门控结构:

  • 遗忘门:控制遗忘哪些信息
  • 输入门:将当前信息加入记忆
  • 输出门:整合短期记忆和长期记忆,得到新的短期记忆