【筆記】信息論基礎

一. 相關概念 1. 各種熵 （1）自信息 信息理論認爲，一個事件的信息量大小和它發生的概率相關。發生概率越大，信息量越小。發生概率越小，信息量越大。根據信息量要非負，可以相加等一系列性質，反正最後香農爸爸發現，負log函數是唯一滿足要求的。因此自信息定義爲 畫成圖的話，大概就是和概率成一個反比的樣子。 (2)信息熵 對於一個事件X，比如說明天是晴天還是陰天，我對這個事件預測的話，把握有多大呢，也

>>阅读原文<<