對信息熵，信息增益的研究

對信息熵，信息增益的研究 0 引言 1948年香農提出「信息熵」的概念，解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。 在信息增益中，衡量標準是看特徵能夠爲分類系統帶來多少信息，帶來的信息越多，該特徵越重要。對一個特徵而言，系統有它和沒它時信息量將發生變化，而前後信息量的差值就是這個

>>阅读原文<<