2.一、決策樹之信息增益與熵

1、信息增益與熵spa    在信息論中，熵被用來衡量一個隨機變量出現的指望值。變量的不肯定性越大，熵也就越大，把它搞清楚所須要的信息量也就越大，熵是整個系統的平均消息量。 信息熵是信息論中用於度量信息量的一個概念。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。因此，信息熵也能夠說是系統有序化程度的一個度量。.net  信息熵計算公式是：H(x)=E[I(xi)]=E[ l

>>阅读原文<<