從入門到棄坑之科普信息熵

相信通過這個回答的介紹，能夠使一個對信息熵毫無瞭解的人，基本上明白信息熵是什麼，以及有什麼用。 熵的概念首先在熱力學中引入，用於表述熱力學第二定律。波爾茲曼研究得到，熱力學熵與微觀狀態數目的對數之間存在聯繫，並給出了公式： S=k\ln W 這個公式也作爲他最驕傲的成績，刻在了他的墓碑上。信息熵的定義與上述這個熱力學的熵，雖然不是一個東西，但是有一定的聯繫。熵在信息論中代表隨機變量不確定度的度量。

>>阅读原文<<