決策樹算法梳理

信息論基礎（熵 聯合熵 條件熵 信息增益 基尼不純度） l 熵：對隨機事件的信息量求期望，得熵的定義： H(X) = -Σp(x)lnp(x) l 聯合熵：兩個隨機變量X，Y的戀歌分佈，可以形成聯合熵（Joint Entropy），用H(X, Y)表示。 即：H(X, Y) = -Σp(x, y) lnp(x, y) H(X, Y) - H(Y) 表示(X, Y)發生所包含的熵，減去Y單獨發生包含

>>阅读原文<<