梯度降低算法

 1、基本概念

梯度降低法，就是利用負梯度方向來決定每次迭代的新的搜索方向，使得每次迭代能使待優化的目標函數逐步減少。梯度降低法是2範數下的最速降低法。 最速降低法的一種簡單形式是：x(k+1)=x(k)-a*g(k),其中a稱爲學習速率，能夠是較小的常數。g（k）是x(k)的梯度。

2、導數

(1)定義

 

 

設有定義域和取值都在實數域中的函數 。若  在點  的某個鄰域內有定義，則當自變量  在  處取得增量 （點  仍在該鄰域內）時，相應地函數  取得增量 ；若是  與  之比當  時的極限存在，則稱函數  在點  處可導，並稱這個極限爲函數  在點  處的導數，記爲 ，即：

 

也可記做 、、或 。

對於通常的函數，若是不使用增量的概念，函數  在點  處的導數也能夠定義爲：當定義域內的變量  趨近於  時，

的極限。也就是說，

 

 

 

 

導數反應的變化率

一個函數在某一點的導數描述了這個函數在這一點附近的變化率。導數的本質是經過極限的概念對函數進行局部的線性逼近。當函數的自變量在一點上產生一個增量時，函數輸出值的增量與自變量增量的比值在趨於0時的極限若是存在，即爲在處的導數，記做、或

 

(2)幾何意義：

 

 

 

一個實值函數的圖像曲線。函數在一點的導數等於它的圖像上這一點處之切線的斜率，導數是函數的局部性質。不是全部的函數都有導數，一個函數也不必定在全部的點上都有導數。若某函數在某一點導數存在，則稱其在這一點可導，不然稱爲不可導。若是函數的自變量和取值都是實數的話，那麼函數在某一點的導數就是該函數所表明的曲線在這一點上的切線斜率。

具體來講：

當函數定義域和取值都在實數域中的時候，導數能夠表示函數的曲線上的切線斜率。以下圖所示，設爲曲線上的一個定點，爲曲線上的一個動點。當沿曲線逐漸趨向於點時，而且割線的極限位置存在，則稱爲曲線在處的切線。

若曲線爲一函數的圖像，那麼割線（藍色）的斜率爲：

當處的切線（紅色），即的極限位置存在時，此時，，則的斜率爲：

上式與通常定義中的導數定義徹底相同，也就是說，所以，導數的幾何意義即曲線在點處切線的斜率 

 

(3)導函數

 

 導數是一個數，是指函數  在點  處導函數的函數值，若函數  在其定義域包含的某區間  內每個點均可導，那麼也能夠說函數 在區間  內可導，這時對於  內每個肯定的 值，都對應着  的一個肯定的導數值，如此一來就構成了一個新的函數，這個函數稱做原來函數  的導函數，記做：、 或者 ,一般也能夠說導函數爲導數

 

梯度

一、相關概念

假如一個空間中的每一點的屬性均可以以一個標量來表明的話，那麼這個場就是一個標量場。

假如一個空間中的每一點的屬性均可以以一個向量來表明的話，那麼這個場就是一個向量場

標量場中某一點上的梯度指向標量場增加最快的方向，梯度的長度是這個最大的變化率。

梯度一詞有時用於斜度，也就是一個曲面沿着給定方向的傾斜程度。

二、計算

一個標量函數的梯度記爲：

 或 

其中（nabla）表示矢量微分算子。

在三維狀況，該表達式在直角座標中擴展爲

 

 

6、梯度降低法

梯度降低法，基於這樣的觀察：若是實值函數  在點  處可微且有定義，那麼函數 在  點沿着梯度相反的方向

  降低最快。

於是，若是

對於  爲一個夠小數值時成立，那麼 。

考慮到這一點，咱們能夠從函數  的局部極小值的初始估計  出發，並考慮以下序列  使得

所以可獲得

若是順利的話序列  收斂到指望的極值。注意每次迭代步長  能夠改變。