決策樹（ID3、C4.5、CART）與隨機森林

1. 什麼是決策樹？   根據一系列特徵，最終決定結果的樹，叫做決策樹。 2. 如何構建決策樹？ 方案一：ID3算法 首先，說明一些重要公式： 信息量： 信息熵： 信息熵期望：；s是未分裂前的節點，sj是按照屬性 V 分裂後屬於各屬性值 j 的節點 信息熵是事物不確定性的度量標準。信息熵越大，不確定性越大，混亂程度越大。   算法流程： （1）給定樣本，先將特徵離散化 比如：（這裏年齡、性別叫做屬

>>阅读原文<<