信息量、熵、最大熵、聯合熵、條件熵、相對熵、互信息，信息增益

1 信息量 信息量是用來衡量一個事件的不確定性的；一個事件發生的概率越大，不確定性越小，則它所攜帶的信息量就越小。 假設X是一個離散型隨機變量，其取值集合爲X ，概率分佈函數爲p(x)=Pr(X=x),x∈X，我們定義事件X=x0的信息量爲： 當p(x0)=1時，熵將等於0，也就是說該事件的發生不會導致任何信息量的增加。 舉個例子，小明考試經常不及格，而小王則經常得滿分，所以我們可以做如下假設：

>>阅读原文<<