神經網絡中損失函數解析筆記

一、二次損失函數        公式：        其中，C表示代價函數，x表示樣本，y表示實際值，a表示輸出值，n表示樣本的總數好，（L是代表什麼，我也不知道，但這不重要）。 重點：假如我們使用梯度下降法來調整權值參數的大小，權值w和偏置b的梯度推導公式： 其中，z表示神經元的輸入，σ表示激活函數。w和b的梯度跟激活函數的梯度成正比，激活函數的 梯度越大，w和b的大小調整得越快，訓練收斂得就越

>>阅读原文<<