熵、信息增益

1.什麼是熵（Entropy）算法 在 信息論 裏面，熵是對不肯定性的測量，熵越高，則能傳輸越多的信息，熵越低，則意味着傳輸的信息越少。熵度衡量了系統的不肯定性，當咱們缺少對某個系統的知識，其不肯定性也隨着增長。例如 拋硬幣，在理想狀況下他們沒法預測出現的是正面仍是反面，此時熵達到最大。可是對於「明天太陽從東方升起」，咱們徹底能夠依靠目前的知識，預測該事件確定會發生，信息熵最小。機器學習 熵的定義

>>阅读原文<<