決策樹與熵

一.熵 自然界中的熵: 自封閉系統的運動總是倒向均勻分佈:   1.自信息: 信息: i(x) = -log(p(x))   a.如果說概率p是對確定性的度量 b.那麼信息就是對不確定性的度量 c.當一個小概率事件發生了，這個事件的信息量很大；反之如果一個大概率事件發生了，這個事件的信息量就很少。 2.熵：自信息的期望 熵是對平均不確定性的度量. 熵的理解:熵其實定義了一個函數(概率分佈函數)到一

>>阅读原文<<