KL算法

信息度量 信息論中，把信息大小解釋爲其不確定度。如果一個事件必然發生，那麼他沒有不確定度，也就不包含信息。即信息=不確定度。 借用數學之美中的一個例子： 馬上要舉行世界盃賽了。大家都很關心誰會是冠軍。假如我錯過了看世界盃，賽後我問一個知道比賽結果的觀衆「哪支球隊是冠軍」？ 他不願意直接告訴我， 而要讓我猜，並且我每猜一次，他要收一元錢才肯告訴我是否猜對了，那麼我需要付給他多少錢才能知道誰是冠軍呢?

>>阅读原文<<