[機器學習] 常見優化方法：梯度下降/牛頓法/擬牛頓法/共軛梯度法

問題的形式化 神經網絡的學習過程可以形式化爲最小化損失函數問題，該損失函數一般是由訓練誤差和正則項組成。誤差項會衡量神經網絡擬合數據集的好壞，也就是擬合數據產生的誤差。正則項主要是通過給特徵權重增加懲罰項而控制神經網絡的有效複雜度，這樣可以有效地控制過擬合問題。 訓練損失函數取決於神經網絡中的自適應參數（偏置項和權重），我們很容易地將神經網絡的權重重組合成一個n維權重向量w，而訓練損失就是以這些權

>>阅读原文<<