決策樹ID3算法及實現

0. 信息論 信道模型和信息的含義 信息論是關於信息的本質和傳輸規律的理論。 信道模型：信源（發送端）-> 信道 -> 信宿（接收端） 1. 通訊過程是在隨機干擾的環境匯中傳遞信息的過程 2. 信宿對於信源的先驗不肯定性：在通訊前，信宿不能確切的瞭解信源的狀態； 3. 信宿對於信源的後驗不肯定性：在通訊後，因爲存在干擾，信宿對於接收到的信息仍然具備不肯定性 4. 後驗不肯定性老是要小於先驗不肯定性

>>阅读原文<<