基於ID3、C4.5算法的決策樹相關知識

文章目錄 基礎概念 熵 條件熵 信息增益 信息增益比 決策樹生成 ID3生成算法 決策樹剪枝 C4.5生成算法 基礎概念 熵 離散型變量X的概率分佈是P(X)。它的熵 H ( X )    o r    H ( P ) {H(X) \; or \; H(P)} H(X)orH(P)越大，代表越均勻、越混亂、越不確定。熵的公式如下： H ( P ) = − ∑ x ∈ X P ( x ) log ⁡

>>阅读原文<<