機器學習的信息論基礎

信息論的由來： 是應用數學的分支，主要研究的是對一個信號能夠提供的信息多少進行量化，最初用於研究在一個含有噪聲的信道上用離散的字母表來發送消息，指導最優的通信編碼。 一個信息論的基本想法：一個不太可能發生的事件發生了要比一個非常可能的事件發生提供更多的信息，也就是‘異常’事件發生的背後擁有我們更想知道的東西。 信息熵 自信息： 一個事件所包含的信息  信息熵： 隨機變量或整個系統的不確定性，熵越大

>>阅读原文<<