拉格朗日對偶性

在約束最優化問題中，常常會利用到拉格朗日對偶性求解。在常用的機器學習算法中，支持向量機和最大熵模型都使用到該方法求最優解。因爲後面將要講到這兩個算法，所以先介紹這種方法作爲知識的鋪墊。 對於有約束的問題，拉格朗日對偶性是將原始問題轉化爲最優問題，通過求解對偶問題而得到原始問題的解。 一、 原始問題 假設f(x),ci(x),hj(x)是定義在Rn上的連續可微函數，最優化原始問題爲： 首先，引進廣義

>>阅读原文<<