決策樹-ML之三

決策樹 決策樹基本概念 熵 在決策樹模型中，最重要的一個概念就是熵，熵從通俗語言來講就是信息的不確定性，比如我有一袋5個水果，不知道是什麼水果，目前的不確定性是最大的，熵最大，如果拿出來一個是蘋果，那麼這袋水果的不確定性就減小了，熵也減小了，再拿出一個知道是梨子，熵進一步減小，直到取出所有水果，這時候不確定性最低，都確定了，熵也爲0了。 熵的定義是:H(x) = -p(x)log p(x) 聯合熵

>>阅读原文<<