機器學習與數學基礎3

4.信息論基礎 (1)基本概念 信息熵 信息論是應用數學的一個分支，主要研究的是對一個信號能夠提供信息的多少進行量化。最初用於研究在一個含有噪音的信道上用離散的信道來發送信息，指導信息的優化編碼等。 一個基本idea：導致那些「異常」事件發生的背後擁有我們更想知道的東西。 信息熵的意義: 聯合熵 條件熵 三者關係 相對熵 也稱爲KL散度，信息增量，信息增益 互信息: 相互關係: Ending…

>>阅读原文<<