熵、信息增益

1.什麼是熵（Entropy） 在 信息論 裏面，熵是對不確定性的測量，熵越高，則能傳輸越多的信息，熵越低，則意味着傳輸的信息越少。熵度衡量了系統的不確定性，當我們缺乏對某個系統的知識，其不確定性也隨着增加。例如 拋硬幣，在理想情況下他們無法預測出現的是正面還是反面，此時熵達到最大。但是對於「明天太陽從東方升起」，我們完全可以依靠目前的知識，預測該事件肯定會發生，信息熵最小。 熵的定義爲信息的期望

>>阅读原文<<