非線性最優化基礎 簡單易懂理解

一 非線性優化中的基本概念 (1). 方向導數：函數在自變量的某個方向上的導數。以一個二元函數爲例，自變量有x和y，該函數在某一點方向有(x,y)這個向量組成的無窮多個。 (2).梯度：梯度是一個矢量，在這個方向上的方向導數達到最大值。某一點的梯度就是某一點方向導數的最大值，也就是從該點出發函數值變化最劇烈的方向（梯度方向代表增加最快的方向，負梯度方向代表減少最快的方向）。梯度的求法即爲改點所有方

>>阅读原文<<