深度學習中的信息論知識詳解

編碼 信息論研究目標: 用最少的編碼表示傳遞信息. 舉一個例子來感性認識一下: 假設兩地互相通信，兩地之間一直在傳遞A，B，C，D四類消息，那應該要選擇什麼樣的編碼方式才能儘可能少的使用資源呢？ 等長編碼 如果這四類消息的出現是等概率的，都爲 14 1 4 ，那麼肯定應該採用等編碼方式，也就是 信息 A B C D 編碼 00 01 10 11 這樣就能達到最優的編碼方式，平均編碼長度爲 2×14

>>阅读原文<<