離散變量熵計算及matlab應用

根據熵、聯合熵、條件熵、相對熵、互信息等可以計算多屬性決策的權重，因此，需要了解各種離散熵的計算。 一、信息熵的概念 1948年，香農Claude E. Shannon引入信息（熵），將其定義爲離散隨機事件的出現概率。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以說，信息熵可以被認爲是系統有序化程度的一個度量。 （三）條件熵 在隨機變量X發生的前提下，隨機變量Y發生所新

>>阅读原文<<