梯度消失和梯度爆炸問題詳解

1.爲什麼使用梯度下降來優化神經網絡參數？ 反向傳播（用於優化神網參數）：根據損失函數計算的誤差通過反向傳播的方式，指導深度網絡參數的更新優化。 採取反向傳播的原因：首先，深層網絡由許多線性層和非線性層堆疊而來，每一層非線性層都可以視爲是一個非線性函數 f ( x ) f(x) f(x)(非線性來自於非線性激活函數），因此整個深度網絡可以視爲是一個複合的非線性多元函數。 我們最終的目的是希望這個非

>>阅读原文<<