機器學習筆記-決策樹和隨機森林

預備知識； 信息熵（會在決策樹和隨機森林中用到） 決策樹和隨機森林—鄒博 決策樹基本原理 決策樹的依據：信息熵下降；即子結點的熵小於父節點的熵； 節點的信息熵代表了節點的不確定性程度，不確定性越小，確定性越大； 原理：決策樹學習採用的是自頂向下的遞歸方法，其基本思想是以信息熵爲度量構造一棵熵值下降最快的樹，到葉子節點處的熵值爲零，此時每個葉子節點中的實例都屬於同一類。 一個例子及其分析 （1）特徵

>>阅读原文<<