RNN求梯度中最關鍵一環:對隱含層求梯度

在看《動手學深度學習》一書時,裏面有介紹簡化版的對RNN求梯度。其中求隱含層梯度時,作者只是簡略地說了句「將上⾯的遞歸公式展開」就直接給出了結果,下面我詳細地給出中間步驟。 ∂ L ∂ h t = W h h ⊤ ⋅ ∂ L ∂ h t + 1 + W q h ⊤ ⋅ ∂ L ∂ O t \frac{\partial L}{\partial h_t} = W^{\top}_{hh} \cdot \
相關文章
相關標籤/搜索