正則化(經驗風險最小化與結構風險最小化)

經驗風險最小化，是根據定義的cost函數，來使訓練集合的cost(損失)函數的整體最小，一般常見的的損失函數有一下： 當選定了損失函數以後，就可以確定經驗風險函數：1/N * L(yi, f(xi)) ( i的範圍是１到Ｎ的所有訓練集做累加）； 所謂經驗風險最小化就是確定模型的參數使得經驗風險函數最小。 但是當訓練集合很小而訓練集合的元素特徵又比較多的時候，單單使用經驗風險最小化函數，會造成模型過

>>阅读原文<<