信息熵和稱小球問題

先簡單說一下關於信息熵的東西：

信息熵是信息多少的量度，一個事件所攜帶的信息量跟它出現的機率反相關，直觀上來講，一個事件出現的越頻繁則每次該事件出現時攜帶的信息就少，反之若是一個事件很是少見，則該事件出現的時候攜帶的信息量就很是高。

具體公式是：

$$I= -log(p)$$ 也就是

$$I=log(p/1)$$

其中p爲此事件的機率

其指望爲：

$$E(I) = -\sum plog(p)$$

當log是以2爲底的時候 I的單位爲 bit，當log以e爲底時，I的單位爲nat，在信息論中他們對應有具體的應用。

 

咱們能夠用信息熵的理論來解決常常遇到的腦筋急轉彎-稱小球問題：

給定N個小球，和一臺天平，若是知道其中有一個小球偏重，可是不知道是具體哪個，如今想用天平去把這個小球找出來，最少須要用多少次天平？

（1）每一次使用天平，能夠獲得三種可能，左偏，右偏，平衡，並且這三種多是機率相等的，因此每一次使用天平的結果都攜帶log3的信息量。

（2）要從N個小球中找到那個不同，能夠有N種機率相同的可能，每一個小球均可能偏重，這個事件所攜帶的信息量是 logN。

因此能夠獲得 最少可使用 logN/log3次天平 就能夠湊夠信息量，指出哪個是重的。

 

給定N個小球，和一臺天平，若是知道其中有一個小球和別的不同，可是不知道是具體哪個，如今想用天平去把這個小球找出來，最少須要用多少次天平？

（1）每一次使用天平，能夠獲得三種可能，左偏，右偏，平衡，並且這三種多是機率相等的，因此每一次使用天平的結果都攜帶log3的信息量。

（2）要從N個小球中找到那個不同，能夠有2N種機率相同的可能，每一個小球均可能偏輕或者偏重，這個事件所攜帶的信息量是 log2N。

因此能夠獲得 最少可使用 log2N/log3次天平 就能夠湊夠信息量，指出哪個是不同的。