機器學習中的優化方法小結

來源｜福大命大@知乎，https://zhuanlan.zhihu.com/p/158215009

前幾天聽了林宙辰老師的一個報告，講的是機器學習中的優化方法[1]，做個筆記。推薦機器學習的人去聽聽。林老師的主頁：https://zhouchenlin.github.io/zhouchenlin.github.io

機器學習是離不開優化方法的，Pedro Domingos這樣概括機器學習和優化方法的關係：

「Machine learning=Representation+Optimization+Evaluation」

後面三項對應於三步：建立模型，求解模型，驗證模型。

一、機器學習中的優化問題

首先介紹一下機器學習中常見的優化問題：

1.分類迴歸問題

很多的分類迴歸問題都可以寫成問題（1）的一個特例，比如SVM，正則的logistic迴歸，多層感知器，線性迴歸，嶺迴歸，Lasso問題等。

2.AdaBoost

通常數據的分類面可能是很複雜的，我們可以通過多個簡單的線性分類器組合而成。

3.生成對抗網絡

4.AutoML

自動超參數的選取，這是一個雙層優化問題。

4.AutoML

自動超參數的選取，這是一個雙層優化問題。

4.AutoML

自動超參數的選取，這是一個雙層優化問題。