機器學習——有監督——決策樹相關原理及sklearn實現（信息熵、基尼係數、信息增益、特徵重要程度的量化）

一、決策樹原理 決策樹（Decision Tree）是一種非參數的有監督學習方法，它能夠從一系列有特徵和標籤的數據中總結出決策規則，並用樹狀圖的結構來呈現這些規則，以解決分類和迴歸問題。決策樹算法容易理解，適用各種數據，在解決各種問題時都有良好表現，尤其是以樹模型爲核心的各種集成算法，在各個行業和領域都有廣泛的應用。 我們來簡單瞭解一下決策樹是如何工作的。決策樹算法的本質是一種圖結構，我們只需要問

>>阅读原文<<