[優化方法] 梯度降低法、最小二乘法、牛頓法、擬牛頓法、共軛梯度法

1、梯度降低法 一、算法原理 關於梯度的優化優化方法主要包括梯度上升和梯度降低，若是想要求最大值，則使用梯度上升法，若是想要去最小值，則使用梯度降低法。本文主要講梯度降低法，梯度降低法是指參數不斷沿着負梯度方向不斷更新，直到最小值，其形象化表示以下圖：html 如上圖所示，在A處找到其梯度降低最快的方向，沿着此方向走到A1點，接着在A1點沿着降低最快的方向走到A2點，直到最終走到AEnd點。git

>>阅读原文<<