數學分析|最優化——梯度下降法、牛頓法、擬牛頓法等

1.最優化問題分類 按照約束條件分，可以分爲：無約束優化問題、有不等式優化問題、有不等式優化問題。 按照是否線性，可以分爲線性優化問題(目標函數和約束均線性)、非線性優化問題(目標函數和約束中任意部分非線性)。 按是否凸，可以分爲凸優化問題、非凸優化問題。 對於有約束優化問題，常見的做法是轉換到無約束問題上：對於只有等式約束的問題，通過拉格朗日乘子轉換；對於有不等式約束的問題，通過KKT條件進行轉

>>阅读原文<<