信息論學習總結（一）基礎知識

咱們考慮一下一個離散的隨機變量x,當咱們觀察到它的一個值，能給咱們帶來多少信息呢？這個信息量能夠看作是咱們觀察到x的這個值帶來的驚訝程度。咱們被告知一個不太可能發生的事發生了要比告知一個很是可能發生的事發生，咱們得到信息要多。 因此信息量的多少依賴於機率分佈p(x)，因此咱們能夠用關於p(x)的一個函數來建模信息量h(x).那什麼函數模型適合表達呢？ 咱們觀察兩個相互獨立的事件x，y，咱們觀察它獲

>>阅读原文<<