熵與信息增益隨記

最近在一些地方用到了最大熵和信息增益的概念，所以回過頭來重新複習了一下具體的概念。 熵與信息增益 在決策樹算法中，決定特徵優先級時，需要用到熵的概念，先挖個坑 1信息量 信息量是用來衡量一個事件的不確定性的；一個事件發生的概率越大，不確定性越小，則它所攜帶的信息量就越小。 2 熵 熵是用來衡量一個系統的混亂程度的，代表一個系統中信息量的總和；信息量總和越大，表明這個系統不確定性就越大。 信息量用來

>>阅读原文<<