《數學之美》 第六章 信息的度量和做用

《數學之美》 第六章 信息的度量和做用

---

• 信息量等於不肯定性的多少
• 香農定理中，用比特bit這個概念來度量信息量。一個比特是一位二進制數，計算機中一個字節是8比特
• 信息熵，通常用符號H表示 $$H(X)=-\sum_{x\in{X}}P(x)logP(x)$$,變量的不肯定性越大，熵就越大
• 一個事物內部會存在着隨機性，也就是不肯定性，假定爲U，從外部消除這個不肯定性惟一的辦法是引入信息I。而須要引入的信息量取決於這個不肯定性的大小，即I>U才行
• 幾乎全部的天然語言處理、信息與信號處理的應用都是一個消除不肯定性的過程
• 合理的利用信息，而不是玩弄什麼公式和機器學習算法，是作好搜索的關鍵
• 條件熵：假定X和Y是兩個隨機變量，X是咱們須要瞭解的。咱們如今知道了X的隨機分佈P(X)，還知道了Y的一些狀況，包括它和X一塊兒出現的機率，以及在Y取不一樣值的前提下X的機率分佈。定義在Y的條件下的X的條件熵爲：$$H(X|Y)=-\sum_{x\in{X},y\in{Y}}P(x,y)logP(x|y)$$

總結：信息的做用在於消除不肯定性

---

補充 互信息：做爲兩個隨機事件「相關性」的量化度量，就是在瞭解了期中一個Y的前提下，對消除另外一個X不肯定性所提供的信息量 相對熵是用來衡量兩個取值爲正數的函數的類似性，關於相對熵的3點結論： 1. 對於兩個徹底相同的函數，它們的相對熵等於0 2. 相對熵越大，兩個函數差別越大；反之相對熵越小，兩個函數差別越小 3. 對於機率分佈或者機率密度函數，若是取值均大於0，相對熵能夠度量兩個隨機分佈的差別性

---

關於教育的幾個觀點 1. 小學生和中學生其實沒有必要花那麼多時間讀書，他們的社會經驗、生活能力以及在那時樹立起的志向將幫助他們一輩子 2. 中學階段花不少時間比同伴多讀的課程，在大學之後用很是短的時間就能夠讀完，由於在大學階段，人的理解能力要強得多 3. 學習和教育是一我的一生的過程，不少中學成績好的亞裔學生進入名校後表現不如那些由於興趣讀書的美國同伴 4. 書本的內容能夠早學也能夠晚學，可是錯過了成長階段倒是沒法彌補的