熵、信息熵、交叉熵詳解

目錄 0 前言 1 熵 1.1 自信息和熵 1.2 熵編碼 1.3 聯合熵和條件熵 2 互信息 3 交叉熵 0 前言 信息論（ Information Theory） 是數學、 物理、 統計、 計算機科學等多個學科的交叉領域。 信息論是由克勞德· 香農最先提出的， 主要研究信息的量化、存儲和通訊等方法．這裏，「信息」 是指一組消息的集合。 假設在一個噪聲通道上發送消息， 咱們須要考慮如何對每個信息

>>阅读原文<<