[信息論與編碼] 03. 離散信源、信源熵、聯合熵、條件熵

離散信源 信源即信息發出的源頭，在後續的信道模型中，信源發出的信息即視爲信道輸入的信息。 根據信源發出信息的取值，可將信源分爲離散信源和連續信源。 顧名思義，離散信源即發出的信息取值爲離散型的信源；連續信源即發出的信息取值爲連續型的信源。 離散信源中又根據符號出現的概率是否與前面符號有關分爲：離散無記憶信源和離散有記憶信源。 信息熵 前面已經瞭解過了自信息的概念。 自信息表示的是某個事件的不確定性

>>阅读原文<<