數學基礎-熵及其在機器學習中的應用

熵 熵是用來衡量變量不確定性的指標，變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量就越大，用樣本的分佈衡量平均編碼長度。熵的表達式爲 H(p)=−∑p(i)∗logp(i) H ( p ) = − ∑ p ( i ) ∗ log ⁡ p ( i ) ，例如盒子裏有4個顏色的求，每個球的概率是 14 1 4 ，那麼需要的平均編碼長度爲2。從下圖中可以看出一件事我們越難猜測是否會發生，它的信

>>阅读原文<<