梯度下降算法詳解--機器學習

梯度下降（gradient descent）算法是一種非常經典的求極小值的算法，其理論基礎是梯度的概念。   先從一個生活中的問題引入梯度下降的概念。 假設在一個夜晚，你處於一座山峯的頂端，你需要從山頂回到山底的營地，由於沒有其他的照明設備，你只能不斷通過周圍的環境來調整自己的方向，比如，你現在所處的位置比前一時刻低那麼你處於下降過程中。由於我們都希望能夠儘快下山，因此我們會選擇一條下降速度最快的

>>阅读原文<<