Datawhale任務三：決策樹算法梳理

決策樹算法梳理 一、信息論基礎（熵 聯合熵 條件熵 信息增益 基尼不純度） 1.熵 本是熱力學中表徵物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量。對於機器學習算法來說，熵指代香農熵，是一種不確定性度量。它是表示隨機變量不確定的度量，是對所有可能發生的事件產生的信息量的期望。對於事件X，有n種可能結果，且概率分別爲p1，p2，…，pn，則熵H(X)爲： H(X) 就被稱爲隨機變量

>>阅读原文<<