信息熵的理解及推導過程

目錄 信息熵的概述 離散型隨機變量的信息熵公式 信息熵公式理解 編碼的約束條件 信息熵公式的推導 信息熵的概述   看過不少博客，發現大多文章只是對信息熵作了一些大體的介紹，如：信息熵表明一個隨機變量的不肯定性程度；也可理解爲一個隨機變量其值域用信息量編碼後的最小碼長數學指望。   可是對於信息熵的公式爲什麼這樣，網上沒有找到相關的推導過程。針對這個問題，從信息熵表明一個隨機變量其值域用信息量編碼

>>阅读原文<<