梯度消失

梯度消失 因爲疫情的原因，最近在家學習，並在伯禹平臺上學習深度學習。在循環神經網絡這一節內容中的課後習題，我遇到一個新的名詞：梯度消失，但是課程中並沒有提到相關內容，於是我自己查了查，作爲日誌。 我們知道神經網絡有輸入層、隱藏層、輸出層3層結構，反向傳播算（BP算法）是從輸出層到輸入層逐層進行誤差傳遞以及更新權重，無論是機器學習還是深度學習，都是在一次次的訓練中根據前一次的誤差進行梯度下降以及權重

>>阅读原文<<