機器學習入門筆記1：梯度下降法

梯度是一個向量，表示某一函數在該點處的方向導數沿着該方向取得最大值，大小爲方向導數最大值，方向爲函數增長最快方向。 假設一個函數 的極值點，就是它的導數爲零的那個點。因此我們可以通過解方程 求得函數的極值點。 假設上圖爲函數圖像，首先我們隨便選擇一個點開始，經過一次次迭代，不斷根據我們定的步長更新x的值，最終到達最小值點，每次迭代都朝着梯度方向的反方向，梯度下降算法公式可表示爲： 其中爲函數在處的

>>阅读原文<<