熵與信息增益

熵與信息增益 原文來自[熵與信息增益](http://blog.csdn.net/xg123321123/article/details/52864830) 在決策樹算法中，決定特徵優先級時，需要用到熵的概念，先挖個坑 1 信息量 信息量是用來衡量一個事件的不確定性的；一個事件發生的概率越大，不確定性越小，則它所攜帶的信息量就越小。 假設X是一個離散型隨機變量，其取值集合爲X的信息量爲： I(x0

>>阅读原文<<