信息論

文章參考自：Visual Information Theory Codes 假設有一個朋友Bob，他只說4個單詞：dog、cat、fish、bird，並且交流時使用2進制碼錶示信息。使用定長的2位二進制碼可表示4個單詞，此時的平均碼長爲2。單詞和二進制編碼的對應關係如下 可將此編碼方式畫圖顯示如下，方塊的面積之和越大，表示平均碼長越長 上述編碼方式沒有考慮每個單詞出現的概率。現在已知Bob特別喜歡

>>阅读原文<<