信息、熵、信息增益、基尼指數

信息 信息是用來消除隨機不肯定性的東西，放在機器學習的語境裏是這樣的，每一個類xi的信息爲： I表示信息，p(xi)表示指xi的機率web 熵 熵是對隨機變量不肯定性的度量，是信息的指望值算法 熵只依賴於隨機變量的分佈，和其取值沒有關係 熵是用來度量不肯定的，因此熵越大，X=xi的不肯定性越大 給了樣本集合D後，其經驗熵爲： k表示有k個分類，|CK|爲樣本集中屬於K類的樣本數機器學習 條件熵 在

>>阅读原文<<