《數學基礎》-4.凸優化-4.1.無約束優化

4.1.無約束優化 4.1.1.無約束優化問題 無約束優化問題是機器學習中最普遍、最簡單的優化問題。 求最大值也可以 在前面加上負號，變成上面求最小的形式。 求一個函數f(x)的最小值可以對函數f(x)求導並使其等於0(或者說使得梯度▽f(x)等於0)，但是很多複雜的函數求導後沒法求出解，所以這種方法實際上很少用。 常用梯度下降法、牛頓法或者擬牛頓法求解。 4.1.2.梯度下降法 基於迭代的方法，

>>阅读原文<<