task3-決策樹算法梳理

1. 信息論基礎（熵 聯合熵 條件熵 信息增益 基尼不純度） 參考：https://zhuanlan.zhihu.com/p/35423404 信息熵：通常用來描述整個隨機分佈所帶來的信息量平均值，更具統計特性。信息熵也叫香農熵，在機器學習中，由於熵的計算是依據樣本數據而來，故也叫經驗熵。 聯合熵：兩個隨機變量X，Y的聯合分佈，可以形成聯合熵Joint Entropy，用H(X,Y)表示。 條件熵

>>阅读原文<<