條件熵，信息增益（互信息）與特徵選擇

一定要先搞清楚什麼是信息量，什麼是信息熵。參考博文：http://www.javashuo.com/article/p-zpzulfnt-rs.html 一，什麼是信息量？ 簡言之，就是把信源看做是一個隨機變量。消息（信號）就是隨機變量的取值，比如a1，a2···an。信息就是這些隨機變量的不確程度（發生概率越低，不確定性越大），公式如下。爲什麼寫成這樣呢？原因有二。第一：概率和信息量（不確定性）

>>阅读原文<<