信息論 -- 熵與互信息

http://blog.csdn.net/pipisorry/article/details/51695283 這篇文章主要講：熵, 聯合熵(joint entropy),條件熵(conditional entropy),相對熵(relative entropy,KL 距離),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。 熵

>>阅读原文<<