信息熵、信息增益、信息增益比

信息熵 「信息熵」是度量樣本集合純度最常用的一種指標。假定當前樣本集合D中第k類樣本所佔的比例爲pk（k=1,2,…,|y|），則D的信息熵定義爲： Ent(D)的值越小，則D的純度越高。 如果上面的解釋不容易理解，那麼下面再通俗地解釋一下： 首先來看一下信息熵這個公式在數軸上的表示： 可以看到，在概率爲0.5的時候，信息熵是最大的，爲1。 我們可以把信息熵理解爲「不確定性」，當概率爲0.5時，比

>>阅读原文<<