【ML Method】熵、聯合熵、條件熵、互信息、相對熵、交叉熵

更新時間：2018-07-18 前言 之前有寫過一篇文章介紹信息增益、Gini、信息增益率的，上面介紹過熵及其相關概念，地址爲：https://blog.csdn.net/roguesir/article/details/76619919。這篇文章從另外的角度詳細介紹熵、聯合熵、條件熵、互信息、相對熵、交叉熵、信息增益等信息，爲後面介紹最大熵模型做鋪墊。下面進行詳細介紹： 熵的概念理解 熵（Ent

>>阅读原文<<