機器學習數學基礎（1）一最優化方法

1.梯度下降法 梯度下降法沿着梯度的反方向進行搜索，利用了函數的一階導數信息。梯度下降法的迭代公式。                                                  根據函數的一階泰勒展開，在負梯度方向，函數值是下降的。只要學習率設置的足夠小，並且沒有到達梯度爲0的點處，每次迭代時函數值一定會下降。需要設置學習率爲一個非常小的正數的原因是要保證迭代之後的xk+1位

>>阅读原文<<