【讓AI飛】信息論--綜述

信息論用來對一個信號包含信息的多少進行量化。最初被髮明來研究如何在一個含有噪聲的信道上用離散的字母表來發送消息，例如通過無線電來傳輸通信。信息論可以指導我們如何對消息設計最優編碼以及計算消息的期望長度。在機器學習總，我們主要是借鑑信息論的一些關鍵思想來描述概率分佈或者量化概率分佈之間的相似性。 信息論的基本出發點來自於對現實的觀察：一個不大可能的事情發生了，要比一個非常可能發生的事情發生了，能提供

>>阅读原文<<