爲什麼RNN會比CNN更容易出現梯度消失或爆炸

公式： 輸出層 ot表示輸出值，輸出層是一個全連接層與隱藏層的每一個節點連接，V是輸出層的權重矩陣，g表示激活函數， 循環層 st 表示隱藏層的值，U是輸入的權重矩陣，xt表示輸入的值，W是上一時間步st-1作爲當前時間步st的輸入權重矩陣，f表示激活函數， 從上述公式可知：st的值不僅僅取決於輸入的x，還取決於st-1 將st帶入Ot的計算公式 得： 從上式可知循環網絡的輸出，和xt，xt-1，

>>阅读原文<<