NLP day1

• 循环神经网络
  • 隐藏层中较全连接层多了个W(每个时间点的权重矩阵),每时刻的隐藏层由该时刻输入层和上一时刻的隐藏层共同决定.
  • RNN适合处理序列数据, 该时刻的输出同前一时刻的输入有关, 故对序列敏感.
• LSTM
  • LSTM通过门控机制(包括input gate, forget gate, output gate)对memory cell进行选择, 分别决定.
    • i