深度學習中的信息論知識詳解

編碼 信息論研究目標: 用最少的編碼表示傳遞信息. 舉一個例子來感性認識一下:web 假設兩地互相通訊，兩地之間一直在傳遞A，B，C，D四類消息，那應該要選擇什麼樣的編碼方式才能儘量少的使用資源呢？機器學習 等長編碼 若是這四類消息的出現是等機率的，都爲 14 1 4 ，那麼確定應該採用等編碼方式，也就是ide 信息 A B C D 編碼 00 01 10 11 這樣就能達到最優的編碼方式，平均編

>>阅读原文<<