決策樹之一：熵的理解

「熵」的通俗解釋 我作了兩個「直觀」的解釋，你們請胡亂噴。 一.問怎麼理解熵？ 答： （1）我只有1個媳婦，天天晚上只能翻這一個牌子，沒得選，這是最肯定的事件，沒有任何有價值的信息量，因此熵是0； （2）康熙爺有30個媳婦，天天晚上從30個牌子裏面任意翻一個，這是最不肯定的事件，信息量很混亂，因此熵是ln30； （3）根據（2）的結論，（1）的結論能夠認爲是ln1：即「肯定性是不肯定性的特殊狀況」

>>阅读原文<<