梯度下降法

一、基本概念 梯度下降法，就是利用負梯度方向來決定每次迭代的新的搜索方向，使得每次迭代能使待優化的目標函數逐步減小。梯度下降法是2範數下的最速下降法。 最速下降法的一種簡單形式是：x(k+1)=x(k)-a*g(k),其中a稱爲學習速率，可以是較小的常數。g（k）是x(k)的梯度。 二、導數 (1)定義   設有定義域和取值都在實數域中的函數 。若 在點 的某個鄰域內有定義，則當自變量 在 處取得

>>阅读原文<<