機器學習中的熵

開篇 熵這個詞在機器學習中出鏡率頗高，機器學習中使用的熵基本是信息熵相關的一些熵，這邊博客我會聊到決策樹和邏輯迴歸，至於最大熵，後期我會在這篇博客上補上，當然，我複習到其他機器學習算法用到熵的概念的話，我也會在這篇博客上續上。 熵的定義 什麼是熵呢，它爲什麼又要那麼定義呢？熵，就感性的理解來說，它是描述混亂程度的量。什麼叫混亂程度呢，我們可以聯繫到概率上，如果一件事件各個可能性都有，那麼說明它就越

>>阅读原文<<