8.22 數據挖掘（6）

1.決策樹的收斂 收斂從葉結點開始，向上收斂，少數服從多數。 2.熵的偏差 最下面是一個懲罰公式，分子是information gain，而分母是分裂的特徵個數，作爲一種有效的懲罰措施。 比如，單純的按生日辨別男女，information gain很大，entrpy爲0，但是這給系統一個錯誤的細化特徵的傾向，實際上，每個人一條規則肯定是不合適的。 3.在決策樹模型中，校驗集的用途是用於控制對模型的

>>阅读原文<<