數學之美--信息的度量和作用--信息熵，條件熵和交叉熵

保留初心，砥礪前行 這一章節講解的是關於信息的某些度量。 我們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。……直到1948年，Shannon在他著名的論文「通信的數學原理」中提出了「信息熵」的概念，才解決了信息的度量問題，並且量化出信息的作用。 信息熵 首先，我們可以記住的是，信息熵一般使用符號H來表示，單位是比特。接下來，看一個書中給出的例子： 當我錯過了上一屆世界盃的比賽，而想

>>阅读原文<<