數學優化入門：梯度下降法、牛頓法、共軛梯度法

1、基本概念 1.1 方向導數 1.2 梯度的概念 如果考慮z=f(x,y)描繪的是一座在點(x,y)的高度爲f(x,y)的山。那麼，某一點的梯度方向是在該點坡度最陡的方向，而梯度的大小告訴我們坡度到底有多陡。 對於含有n個變量的標量函數，其梯度表示爲  1.3 梯度與方向導數 函數在某點的梯度是這樣一個向量，它的方向與取得最大方向導數的方向一致，而它的模爲方向導數的最大值。 1.4 梯度與等高線

>>阅读原文<<