機器學習中的數學之拉格朗日乘子法

首先需要明確的是拉格朗日乘子法是一種凸優化算法，所以目標函數是一個凸函數，約束條件也是一個凸函數。 1.帶有等式約束的最小值問題       （這是約束條件） 求   的極小值. 目標函數在三維空間中是一個倒立的圓錐。約束條件是一個雙曲線在z軸上無限拉伸形成的一個面。爲了方便我們把兩個圖像投影到二維平面上形成一個等高先圖。如下 很容易想到極小值點是在兩個面的交點集合之中。 約束面與目標函數相交，相

>>阅读原文<<