機器學習之熵【從定義到代碼】

熵的定義 熵(entropy)的本質是一個系統「內在的混亂程度」，原是熱力學概念，被香農引用到信息論中，被稱爲香農熵； 熵在熱力學中可以理解爲能量轉換過程中變爲新狀態(浪費掉的、無法再利用的)能量稱爲熵, 這部分能量轉換會讓系統的混亂度增加，熵就是系統的混亂度；如圖中冰塊融化爲液態水，有序排列的分子吸收能量後變得無序，狀態可變，系統更混亂，因此它的熵更高；                     

>>阅读原文<<