BPTT-RNN訓練算法

BP算法：定義誤差函數 E ，通過鏈式法則自頂向下求得 E 對網絡權重的偏導。沿梯度的反方向更新權重的值，直到 E 收 斂。 BPTT：與BP類似，加上時序演化。 輸出的激活函數：雙曲正切，通過softmax，損失交叉熵。 舉一個例子：求E3對V的梯度 y是輸出值，z是輸入激活函數的值，z=V*S3.最後求和可得E對V的梯度！！(梯度下降) E對W梯度 W是相同的，所有求對W的梯度需要求所有的。s

>>阅读原文<<