決策樹 Decision Tree

信息熵 entropy 描述信息量 越大 需要猜的次數越多 越不容易被預測 單位是bits ID3算法 選擇節點： 信息增益 Information Gain： IG(Y|X)=H(Y)-H(Y|X)； 衡量一個屬性(x)區分樣本(y)的能力。 當新增一個屬性(x)時，信息熵H(Y)的變化大小即爲信息增益。 IG(Y|X)越大表示x越重要 所以IG大的作爲Decision Tree的節點 如果其中

>>阅读原文<<