關於「熵」學習詳細筆記——什麼是熵？有什麼性質？聯合熵等其他熵的作用

熵大概是統計學、信息學中最讓人糾結的基本概念之一。很多的人對於熵是什麼多多少少能說出一二，但是不能準確的表達出來。我們都知道熵可以用來描述含有的信息豐富程度的多少，但具體指什麼呢？ 在講到熵之前，在這裏我先講一個「自信息」 目錄 1.自信息（信息量） 2.熵的引入 3.信息熵（香農熵） 3.1基本性質或特點 1）基本性質1： 若事件x的所有狀態n發生概率都一致，即都爲1/n，那麼信息熵H(x)有極

>>阅读原文<<