深度學習之RNN(循環神經網絡)

對深度學習之RNN(循環神經網絡)的理解。 RNN網絡存在三個矩陣在不同時刻權重共享，即從頭到尾只需要計算這三個矩陣。 U:輸入層到隱層的矩陣 V:隱層到輸出層 W:隱層到自身的矩陣 二、反向傳播 RNN損失爲各個時間點的損失之和，故各個梯度的變化爲各個時間點梯度變化之和 RNN語言模型爲例子，損失函數使用交叉熵，其中yt爲t時刻正確的詞語，y^t爲t時刻預測的詞語。 分別對三個矩陣進行求導  

>>阅读原文<<