ML讀書筆記（循環神經網絡）

目的：捕捉序列中的長距離依賴關係 A. 文本分類的RNN:   過激活函數f得到h   最後一個時刻的h，編碼了整個輸入序列，在最後一個時刻的h上加輸出層，過softmax，得到各個類別的概率； B. BPTT(Back Propagation Through Time) 梯度爆炸：使用梯度裁剪來緩解，當梯度的L2-Norm大於某個給定值時，對梯度進行等比收縮；（Tensorflow裏的tf.cl

>>阅读原文<<