[李宏毅-機器學習]循環神經網絡 RNN

  雙向RNN   LSTM 將xt（向量）使用線性變換爲z（向量），其中z的維度就是cell的數目，將每個維度（scale）單獨輸入到每個cell 得到每個詞的詞性 clipping 梯度裁剪 當梯度大於閾值的時候，遺棄或縮小該梯度  由於時間的疊加，權重小的變化，會因此梯度劇烈的變動        

>>阅读原文<<