機器學習-泛化能力

機器學習-泛化能力

1.泛化能力

在機器學習方法中，泛化能力通俗來說就是指學習到的模型對未知數據的預測能力。在實際狀況中，咱們一般經過測試偏差來評價學習方法的泛化能力。若是在不考慮數據量不足的狀況下出現模型的泛化能力差，那麼其緣由基本爲對損失函數的優化沒有達到全局最優。

2.泛化偏差

根據PAC理論，泛化偏差能夠直觀理解爲以e指數的形式正比於假設空間的複雜度，反比於數據量的個數。
就是數據量越多，模型效果越好，模型假設空間複雜度越簡單，模型效果越好。

3.提升泛化能力

提升泛化能力的方式大體有三種：1.增長數據量。2.正則化。3.凸優化。

4.L1正則化，L2正則化

L1正則化的幾何解釋如圖：

L1正則化給出的最優解w∗是使解更加靠近某些軸，而其它的軸則爲0，因此L1正則化能使獲得的參數稀疏化。
L1正則化的參數先驗是服從拉布拉斯分佈的，拉布拉斯的機率密度分佈函數爲：

L2正則化的解釋如圖：

L2 正則化給出的最優解w∗是使解更加靠近原點，也就是說L2正則化能下降參數範數的總和。
L2正則化的參數先驗服從高斯分佈，高斯分佈的機率密度分佈函數爲：