RNN求梯度中最關鍵一環：對隱含層求梯度

在看《動手學深度學習》一書時，裏面有介紹簡化版的對RNN求梯度。其中求隱含層梯度時，作者只是簡略地說了句「將上⾯的遞歸公式展開」就直接給出了結果，下面我詳細地給出中間步驟。 ∂ L ∂ h t = W h h ⊤ ⋅ ∂ L ∂ h t + 1 + W q h ⊤ ⋅ ∂ L ∂ O t \frac{\partial L}{\partial h_t} = W^{\top}_{hh} \cdot \

>>阅读原文<<