自信息, 信息熵, 互信息和K-L散度

香農-信息論領域的牛頓 香農一輩子發表的文章並很少，可是篇篇都是精品。markdown Amethematical theory of communication通訊的數學理論函數 第一篇文章中提出了比特（bit）的概念。比特究竟測量的是什麼呢？香農的回答是：用於測量信息的單位。在香農眼裏，信息是和長度、重量這些物理量同樣，是一種能夠測量和規範的東西。因爲對於通訊系統而言，其傳遞的信息具備隨機性，

>>阅读原文<<