關於決策樹的特徵選擇， 信息量/信息熵/相對熵/交叉熵的例子

說到決策樹，必須瞭解信息熵。html 在沒有接觸機器學習以前，知道熵這個概念：描述事務的混亂程度。  （固然，有更準確的或不一樣維度的定義，好比 能量中不能用來作功的部分） 若是沒有外力，世界老是在熵增。 好比氣體擴散後不可能本身縮回去。 而換個角度想，咱們老是想去作一些事，讓熵減。一個亂糟糟堆滿各式各樣東西的桌子，若是付出時間和力氣，把它整理得乾乾淨淨分門別類， 那它就從熵多到熵少了。 相似地，

>>阅读原文<<