梯度下降法

最簡單的梯度下降法   梯度下降法本質上是由微分公式推導而來的，即 d y = f ′ ( x ) d x dy=f ^{ \prime }(x)dx dy=f′(x)dx。由公式可知，如果x沿着導數 f ′ ( x ) f^{\prime}(x) f′(x)的方向行進，就會使得y增加。反之，如果沿着導數的方向行進，就會使得y減少。當函數爲凸函數的時候，我們就可以通過梯度下降法得到它的最小值。  

>>阅读原文<<