《統計學習方法》筆記05：決策樹模型

《統計學習方法》筆記05：決策樹模型 決策樹模型：由訓練數據集估計條件概率模型。 學習算法：ID3，L4.5，CART三種。 5.1 預備知識 1. 熵 熵可用來衡量一個隨機變量的概率分佈的不確定性情況。當隨機變量在各取值上概率相同時，熵最大。熵反映了分佈的不確定性程度。當分佈中各取值概率相同時，不確定性最大，則熵最大。 舉例：巴西，德國，中國三國足球聯賽，巴西和德國取勝概率遠大於中國，不確定性小

>>阅读原文<<