二、決策樹

決策樹生成算法一個重要的工作就是選擇當前信息增益最大的屬性對決策樹進行分裂,並根據該屬性可能的取值建立對應的分支。 信息增益與信息論中信息熵的概念相關。信息熵是表示一個事件的不確定性的大小,不確定性越大那麼該事件包含的信息熵就越大,如果一個事件完全確定了,那麼它所包含的信息熵就是0。 信息增益就是分裂前的信息熵–分裂後的信息熵,信息增益越大就表示分裂過程中所釋放的信息量就越大。 1.決策樹創建過程
相關文章
相關標籤/搜索