100天搞定機器學習|Day55 最大熵模型

一、熵的定義html 熵最先是一個物理學概念，由克勞修斯於1854年提出，它是描述事物無序性的參數，跟熱力學第二定律的宏觀方向性有關：在不加外力的狀況下，老是往混亂狀態改變。熵增是宇宙的基本定律，天然的有序狀態會自發的逐步變爲混沌狀態。1948年，香農將熵的概念引伸到信道通訊的過程當中，從而開創了」信息論「這門學科。香農用「信息熵」來描述隨機變量的不肯定程度，也即信息量的數學指望。關於信息熵、條件

>>阅读原文<<