用最通俗易懂的語言告訴你什麼是信息熵

假設有個考試作弊團伙，需要連續不斷地向外傳遞4選1單選題的答案。直接傳遞ABCD的ascii碼的話，每個答案需要8個bit的二進制編碼，從傳輸的角度，這顯然有些浪費。信息論最初要解決的，就是數據壓縮和傳輸的問題，所以這個作弊團伙希望能用更少bit的編碼來傳輸答案。很簡單，答案只有4種可能性，所以二進制編碼需要的長度就是取2爲底的對數： 2個bit就足夠進行四個答案的編碼了（00,01,10,11）

>>阅读原文<<