機器學習筆記十：各類熵總結

一.什麼是熵 Ⅰ.信息量 首先考慮一個離散的隨機變量x,當咱們觀察到這個變量的一個具體值的時候,咱們接收到多少信息呢? 咱們暫時把信息看作在學習x的值時候的」驚訝程度」(這樣很是便於理解且有意義).當咱們知道一件必然會發生的事情發生了,好比往下掉的蘋果.咱們並不驚訝,由於反正這件事情會發生,所以能夠認爲咱們沒有接收到信息.可是要是一件平時以爲不可能發生的事情發生了,那麼咱們接收到的信息要大得多.所

>>阅读原文<<