熵、信息量、信息熵、交叉熵、聯合熵、條件熵

熵 1854年，德國物理學家魯道夫·克勞修斯(T.Clausius) 首次提出熵的概念，我國物理學家胡剛復教授於1923年根據「熱溫商」之意首次把entropy譯爲「熵」。 物理學中的熵 19世紀，物理學家開始認識到，世界的動力是能量，並且提出"能量守恆定律"，即能量的總和是不變的。但是，有一個現象讓他們很困惑。物理學家發現，能量無法百分百地轉換。比如，蒸汽機使用的是熱能，將其轉換爲推動機器的機械

>>阅读原文<<