任務三 決策樹算法梳理

1.信息論基礎（熵 聯合熵 條件熵 信息增益 基尼不純度） 1）熵 2）聯合熵與條件熵 上面定義了單個隨機變量的熵。現在，將定義推廣到兩個隨機變量的情形。由於可將（X,Y）視爲單個向量，所以其定義其實並無新鮮之處。 3）信息增益 在已知A的情況下，隨機變量D的不確定性的減少程度，也就是在我們知道A的情況下獲得了多少信息。如果D是數據類別的隨機變量，而A是數據某個特徵的隨機變量，可以想見使得信息增益

>>阅读原文<<