關於「熵」家族的那些事

關於"熵"家族的那些事 在信息論與概率統計學中，熵（entropy）是一個很重要的概念。在機器學習與特徵工程中，熵的概念也用得很多。這裏簡單總結，權當筆記。 0.熵 熵和概率十分相近，但又不同。概率是真實反映變化到某狀態的確信度。而熵反映的是從某時刻到另一時刻的狀態有多難以確定。阻礙生命的不是概率，而是熵。 生命活着就是在減熵。 生命要在這個變化的世界中生存，它就需要知道如何根據環境變化做出相應的

>>阅读原文<<