李沐第十五課--GRU、LSTM等

前情回要：上節課可以得到用梯度裁剪可以解決梯度爆炸問題，那麼對於梯度消失問題，我們可以使用GRU和LSTM來解決。 GRU： GRU中有兩個比較重要的門，一個叫重置門(Rt【reset】)，一個叫更新門（Zt【update】）， 1，下圖中第一個公式是重置門的計算方式， 2， 第二個公式是更新門的計算方式， 3，第三行是暫時的、候選的Ht的計算方式【注意第三個公式中的圓圈中有個點的符號，代表着按位

>>阅读原文<<