機器學習-----信息-------熵

1.1什麼是信息 信息定義公式:   i(x) = -log( p(x) ) 我們理解概率p是對某個事件確定性的度量，認爲信息是對某個事件不確定性的度量。 如果兩個事件X和Y獨立，即p(xy)=p(x)p(y) ，假定X和y的信息量分別爲i(x)和i(y)，則二者同時發生的信息量應該爲i(x^y)=i(x)+i(y)。 1.2什麼是熵 熵是對平均不確定性的度量 。定義公式H(x) = -∑ p(x

>>阅读原文<<