一些基礎概念

奧卡姆剃刀：若多個假設與觀察一致，則選最簡單的那個。那麼何爲最簡單的，一般咱們認爲參數儘可能稀疏或者參數儘可能小的模型是簡單的，所以咱們常引入正則化（懲罰項）來限制參數。算法 NFL（no free lunch theorem）：不管學習算法如何，它們的指望值都是相同的。重要前提：全部問題出現的機會相同，或全部問題同等重要。  學習 偏差與模型複雜度：偏差隨着模型複雜度增大先降低後上升，過於複雜會

>>阅读原文<<