各種熵總結

一、什麼是熵 Ⅰ.信息量 首先考慮一個離散的隨機變量x,當我們觀察到這個變量的一個具體值的時候,我們接收到多少信息呢?  我們暫時把信息看做在學習x的值時候的」驚訝程度」(這樣非常便於理解且有意義).當我們知道一件必然會發生的事情發生了,比如往下掉的蘋果.我們並不驚訝,因爲反正這件事情會發生,因此可以認爲我們沒有接收到信息.但是要是一件平時覺得不可能發生的事情發生了,那麼我們接收到的信息要大得多.

>>阅读原文<<