機器學習的數學基礎 - 信息論

機器學習的數學基礎 - 信息論   信息論 信息論本來是通信中的概念,但是其核心思想「熵」在機器學習中也得到了廣泛的應用。比如決策樹模型ID3,C4.5中是利用信息增益來劃分特徵而生成一顆決策樹的,而信息增益就是基於這裏所說的熵。所以它的重要性也是可想而知。    熵       聯合熵       條件熵        相對熵       互信息         最大熵模型  
相關文章
相關標籤/搜索