決策樹與隨機森林

一、 決策樹的簡介     決策樹是一種基本的分類與迴歸方法，學習通常包含三個步驟：特徵選擇、決策樹的生成和決策樹的剪枝。     決策樹學習本質是從訓練數據集中歸納出一組分類規則；決策樹學習的損失函數通常是正則化的極大似然函數，學習策略是由訓練數據集估計條件概率模型。     決策樹學習的算法通常是一個遞歸地選擇最優特徵，並根據該特徵進行分割。這一過程對應着決策樹的構建，也對應着特徵空間的劃分。

>>阅读原文<<