【機器學習】決策樹算法以及熵、條件熵、信息增益等整理

1、ID3算法（按照信息增益最大爲原則） 理解熵、條件熵： 首先有定義是某事件發生的機率小，則該事件的信息量大。 熵定義：若是一件事有k種可的結果，每種結果的機率爲 pi , i=1,2,…，k 信息熵的公式爲： 聯繫以前的定義某事件發生的機率小，則該事件的信息量大。 也就是說信息量是描述變量的不肯定性的，值越大表示該事件越不肯定（也就是機率小嘛），所以，引入其餘變量使得這種不肯定性下降（也就是條

>>阅读原文<<