[李宏毅-機器學習]循環神經網絡 RNN

  雙向RNN   LSTM 將xt(向量)使用線性變換爲z(向量),其中z的維度就是cell的數目,將每個維度(scale)單獨輸入到每個cell 得到每個詞的詞性 clipping 梯度裁剪 當梯度大於閾值的時候,遺棄或縮小該梯度  由於時間的疊加,權重小的變化,會因此梯度劇烈的變動        
相關文章
相關標籤/搜索