決策樹與隨機森林算法（理論）-----------------------機器學習系列（二））

在講解算法之前，先鋪墊一下算法涉及的內容： 熵：H(X)=−∑x∈Xp(x)logp(x) 聯合熵：H(X,Y)=−∑x∈X,y∈Yp(x,y)logp(x,y) 條件熵：H(X|Y)=−∑x∈X,y∈Yp(x,y)logp(x|y) 相對熵：D(p||q)=∑xp(x)logp(x)q(x) 互信息：I(X,Y)=∑x∈X,y∈Yp(x,y)logp(x,y)p(x)p(y)Gini係數： Gi

>>阅读原文<<