梯度法、模式搜索法求解最優化問題

最優化問題中常常需要求解目標函數的最大值或最小值，比如SVM支持向量機算法需要求解分類之間最短距離，神經網絡中需要計算損失函數的最小值，分類樹問題需要計算熵的最小或最大值等等。根據目標函數是否可求導將算法相應的分成兩類，如果目標函數可求導常用梯度法，如果不能求導時一般選用模式搜索方式，一般來說梯度法較爲快速，本篇還是會結合具體程序來討論這兩種方法。 一、梯度法求解最優問題     由數學分析知識可

>>阅读原文<<