關於決策樹的特徵選擇， 信息量/信息熵/相對熵/交叉熵的例子

說到決策樹，必須瞭解信息熵。 在沒有接觸機器學習之前，知道熵這個概念：描述事務的混亂程度。  （當然，有更準確的或不同維度的定義，比如 能量中不能用來做功的部分） 如果沒有外力，世界總是在熵增。 比如氣體擴散後不可能自己縮回去。 而換個角度想，我們總是想去做一些事，讓熵減。一個亂糟糟堆滿各式各樣東西的桌子，如果付出時間和力氣，把它整理得乾乾淨淨分門別類， 那它就從熵多到熵少了。 類似地，統計學/機

>>阅读原文<<