反向傳播+梯度消失梯度爆炸

爲什麼寫這個呢，本來是想調研一下激活函數，就在想什麼樣的激活函數纔是好的，Sigmoid在x過大過小的時候梯度消失造成問題，於是發現對梯度消失和梯度爆炸的理解還是不深，既然涉及到梯度了，那就需要重新掌握反向傳播了，所以寫下了這篇筆記 爲什麼需要反向傳播 反向傳播是優化神經網絡參數的方法，深層網絡由許多線性層和非線性層堆疊而來，因此整個深度網絡可以視爲是一個複合的非線性多元函數。 我們最終的目的是希

>>阅读原文<<