決策樹理論

在談決策樹以前咱們須要先理解信息熵這個概念。信息熵是信息的不肯定性的一個純數字度量。信息熵越大這說明事件的不肯定性越大。什麼叫事件的不肯定性呢？事件不肯定也就是這個事件的結果有不少種可能。好比咱們擲骰子。咱們會有六種等機率的結果。對於擲骰子的結果咱們是不肯定的。可是若是咱們的骰子6個面都是1。那麼咱們擲骰子的結果就是肯定的。這時候事件的不肯定性就爲0.也就是肯定的。這個不肯定性也叫作這個事件的信息

>>阅读原文<<