機器學習中的奧卡姆剃刀定律

奧卡姆剃刀定律是機器學習選擇算法時可參照的標準之一。其含義是：在其他條件一樣的情況下，選擇簡單的那個。 該定律的意義在於數據的擬合和低複雜性之間實際上存在着折衷。 理論上假設的解決方案越複雜，就越能擬合數據，訓練數據誤差就會越低   圖1 但是在現實生活中，有關未知數據的泛化誤差，往往如圖2所示。   圖2 泛化數據誤差實際是訓練數據誤差與另一個名爲過擬合誤差的函數之和。   圖3 在泛化誤差最小

>>阅读原文<<