最速梯度降低法

梯度降低法是一個一階最優化算法，一般也稱爲最速降低法。算法 梯度降低法，就是利用負梯度方向來決定每次迭代的新的搜索方向，使得每次迭代能使待優化的目標函數逐步減少。梯度降低法是2範數下的最速降低法。函數     最速降低法的一種簡單形式是：x(k+1)=x(k)-a*g(k),其中a稱爲學習速率，能夠是較小的常數。g（k）是x(k)的梯度。性能     直觀的說，就是在一個有中心的等值線中，從初始值

>>阅读原文<<