信息熵，條件熵，互信息的通俗理解

自信息（self-information）： I(x)=   =  - log( p(x) )         （1） 式中的log表示自然對數， 如果用以2爲底的對數，單位是比特（bit）。 上式是什麼意思？p(x)是指x發生的概率，I(x)代表x所包含的信息量。考慮這麼一個問題，馬雲破產以及馬雲獲得全國首富這兩個事件，那個包含的信息量大？當然是馬雲破產的信息量更大，因爲它發生的概率非常小。這也

>>阅读原文<<