05 決策樹——讀書筆記

一、相關概念： 決策樹：是一種基於特徵對實例進行分類的一種樹形結構。它也可以表示爲if-else規則的集合，也可以看作是定義在特徵空間劃分上類的條件概率分佈。 熵：①在化學上：代表分子的混亂程度，分子越混亂無序，熵越大；分子越有序，熵越小。 ②在信息論與概率統計中：表示隨機變量不確定性的度量。隨機變量x的熵的定義爲： 信息熵：衡量信息有效性的一種度量方法。如果某個信息使我們的判斷更加有序、清晰，熵

>>阅读原文<<