重新理解梯度下降法（Gradient Descent）及其相關優化方法

梯度下降法廣泛的應用在無約束優化問題的求解中，比如線性迴歸、神經網絡等等。之前在學習Stanford機器學習-Linear Regressioon with One Variable（3）時對於梯度下降有了初步的理解，但是對於梯度下降法的多種類型，以及背後的數學原理理解的並不是很清楚，希望通過這個專項的學習，對於梯度下降法可以有一個深入的學習。 所需的數學知識 對於其中涉及的導數、偏導數、梯度等基

>>阅读原文<<