決策樹相關的一些概念

  信息量 原則： 某事件發生的概率小，則該事件的信息量大。 如果兩個事件X和Y獨立，即p(xy)=p(x)p(y) ，假定X和Y的信息量分別爲h(X)和h(Y)，則二者同時發生的信息量應該爲h(XY)=h(X)+h(Y)。 定義隨機變量X的概率分佈爲p(x)，從而定義X信息量：       熵(信息熵) 對隨機事件的信息量求期望，得熵的定義：   注：底數是2時，單位是bit；若底數是e，單位是

>>阅读原文<<