熵與信息增益等各種概念講解

熵與信息增益 在決策樹算法中，決定特徵優先級時，需要用到熵的概念，先挖個坑 1 信息量 信息量是用來衡量一個事件的不確定性的；一個事件發生的概率越大，不確定性越小，則它所攜帶的信息量就越小。 假設X是一個離散型隨機變量，其取值集合爲X ，概率分佈函數爲p(x)=Pr(X=x),x∈X，我們定義事件X=x0 的信息量爲： I(x0)=−log(p(x0)) 當p(x0)=1時，熵將等於0，也就是說該

>>阅读原文<<