信息量與熵

世界盃決賽的兩支球隊中，哪支球隊得到了冠軍？在對球隊實力沒有任何瞭解的狀況下，每支球隊奪冠的機率都是1/2，因此誰得到冠軍這條信息的信息量是 - log2 1/2 = 1 bit。若是信息是四強中的球隊誰得到了冠軍，它的信息量是 - log2 1/4 = 2 bit。 其實這正好對應了計算機對數字的表示，若是用二進制表示，每一位出現0和1的機率都是1/2，因此每一位的信息量是1bit。若是用十六進

>>阅读原文<<