信息、信息熵、條件熵、信息增益、信息增益率、GINI指數、交叉熵、相對熵

在信息論與概率統計學中，熵（entropy）是一個很重要的概念。在機器學習與特徵工程中，熵的概念也常常是隨處可見。自己在學習的過程中也會常常搞混，於是決定將所有與熵有關的概念整理總結，方便查看和學習。 1. 信息 它是熵和信息增益的基礎概念。引用香農的話，信息是用來消除隨機不確定性的東西。如果一個帶分類的事物集合可以劃分爲多個類別，則其中某個類（xi）的信息定義：                 

>>阅读原文<<