最大熵模型原理小結

最大熵模型(maximum entropy model， MaxEnt)也是很典型的分類算法了，它和邏輯迴歸類似，都是屬於對數線性分類模型。在損失函數優化的過程中，使用了和支持向量機類似的凸優化技術。而對熵的使用，讓我們想起了決策樹算法中的ID3和C4.5算法。理解了最大熵模型，對邏輯迴歸，支持向量機以及決策樹算法都會加深理解。本文就對最大熵模型的原理做一個小結。 熵和條件熵的回顧 熵度量了事物的

>>阅读原文<<