信息熵的定義和簡單計算

定義:spa

 

 p(x)指的是離散型隨機變量的各個狀況的機率3d

 

例子:blog

 

 

 

 對數的底數爲2---若是單位是比特的話io

 

條件熵(指望熵)和信息增益:變量

 

 

 

 注意這個條件是(是否陰天im

 

 信息增益則是總的熵減去條件熵d3

相關文章
相關標籤/搜索