機器學習中的各種熵

1、熵 熵：熵，熱力學中表徵物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量。 從統計的角度來看，概率分佈是對隨機變量的刻畫，而熵就是對不同概率分佈的刻畫！本質上，熵是爲了描述不確定的程度，並以此對不同的概率分佈進行比較。 舉個例子，兩枚硬幣，一個上拋一次正面朝上概率是0.5,另一個是0.8，此時，假設兩枚硬幣上拋一次落下後朝上的面分別是x,y。此時，我們可以很容易確定隨機變量x,

>>阅读原文<<