機器學習之決策樹總結

一.熵的相關知識 1.熵，也稱信息熵 是表示隨機變量不確定性的度量，不確定性越大，熵越大，定義如下： 來理解一下，如果X的取值爲固定某個值，這時不確定性最小，H(X)=-1*log1=0； 如果X服從均勻分佈，這時不確定性最大，H(X)=log n, 所以H(X)的範圍爲 0<=H(X)<=log n 2.條件熵的定義： 3.信息增益： 表示得知特徵X的信息而使得類Y的信息的熵減小的程度。 我們希

>>阅读原文<<