追根究底 - 最大熵模型

什麼是熵 熵在統計物理中用於度量一個熱力學系統的無序程度。熱力學第二定律，又稱「熵增 定律」，表明了在自然過程中，一個孤立系統的總混亂度（即「熵」）不會減小，在信息論中，熵被用來衡量一個隨機變量出現的期望值。它代表了在被接收乊前，信 號傳輸過程中損失的信息量，又被稱爲信息熵。信息熵也稱信源熵、平均自信息量。 在1948年，香農將熱力學的熵，引入到信息論，因此它又被稱爲香農熵。 最大熵模型 - 概念

>>阅读原文<<