模型容量，過擬合與欠擬合（VC維與奧卡姆剃刀）

模型的容量：是指其擬合各種函數的能力。容量低的模型很難擬合訓練集，容量高的模型容易過擬合。通過處理特徵課改變模型容量，例如假設真實數據符合三次分佈，那麼用二次函數很難擬合(容量低)，加入三次項後效果提高，若用九次項擬合（容量過高）會發生過擬合。 奧卡姆剃刀：在同樣能夠解釋已知觀測現象的假設中，我們應該挑選‘‘最簡單’’ 的那一個。 VC維：是統計理論中一種量化模型容量的方法，定義爲該分類器能夠分類

>>阅读原文<<