深度學習之數學基礎（數值計算）

信息論是應用數學的一個分支，主要研究的是對一個信號能夠提供信息的多少進行量化。如果說概率使我們能夠做出不確定性的陳述以及在不確定性存在的情況下進行推理，那信息論就是使我們能夠量化概率分佈中不確定性的總量。 1948年，香農引入信息熵，將其定義爲離散隨機事件的出現概率。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。所以說，信息熵可以被認爲是系統有序化程度的一個度量。 4-1、

>>阅读原文<<