循環神經網絡

1.rnn結構 其中x爲輸入層節點，s爲隱藏層節點，o爲輸出層節點，u是輸入層到隱藏層的權重，v爲s到o的權重。w是上一層隱藏層的輸出到下一個影藏層的權重。 那麼我們可以看看這個圖的展開圖 從這個圖可以看出 梯度爆炸原因 因爲神經網絡用到的sigmoid的特點，它會將+∞～-∞之間的輸入壓縮到0～1之間。當input的值更新時，output會有很小的更新。 又因爲上一層的輸出將作爲後一層的輸入，而

>>阅读原文<<