機器學習中的優化算法（附代碼）

摘要 > 優化算法指通過改善訓練方式，來最小化(或最大化)損失函數E(x) 局部最優問題 局部最優與鞍點。在神經網絡中，最小化非凸誤差函數的另一個關鍵挑戰是避免陷於多個其他局部最小值中。實際上，問題並非源於局部極小值，而是來自鞍點，即一個維度向上傾斜且另一維度向下傾斜的點。這些鞍點通常被相同誤差值的平面所包圍，這使得SGD算法很難脫離出來，因爲梯度在所有維度上接近於零。 batch優化 很難選擇出

>>阅读原文<<