ID3決策樹

知識準備：信息熵 熵是無序性（或不確定性）的度量指標。加入事件A的全概率劃分是（A1,A2,…An），每部分發生的概率是（p1,p2,…pn），那信息熵定義爲： entropy(p1,p2,…,pn)=−p1log2p1−p2log2p2−⋯−pnlog2pn 通常以2爲底數，單位爲比特（bit）,在數學證明上通常採用e爲底數，單位爲奈特（Nat） 更詳細的介紹請參考 百度百科 核心思想及舉例說明

>>阅读原文<<