熵（信息學）

信息學中認爲，一個事件所包含的信息量可以用熵來描述，熵在形式上與每個取值的概率有關，等於該概率對2取對數，再乘以該概率，再對所有取值求和，最後加一個符號。熵在數值上等於描述這一事件所需要的比特位，也就是我們想要用它來描述的信息量。我們都知道，對於一個有兩個相等概率結果的事件，如拋硬幣，熵是1，描述這一事件需要一個比特位，true or false。 同時，根據公式表明，各個取值的概率越平均，熵就越

>>阅读原文<<