遞歸神經網絡RNN總結

一、前述 傳統的神經網絡每個輸入節點之間沒有聯繫，  RNN （對中間信息保留）：   由圖可知，比如第二個節點的輸入不僅依賴於本身的輸入U1，而且依賴上一個節點的輸入W0,U0，同樣第三個節點依賴於前兩個節點的輸入， 假設每一個節點分別代表着「我出生在中國，我說——」的一個預測，則「說」後面則是依賴於前面的說的每個單詞的所有組合。 xt表示第t,t=1,2,3...步(step)的輸入 st爲隱

>>阅读原文<<