【機器學習】關於熵的總結（詳細）【轉】

【轉載】https://blog.csdn.net/xierhacker/article/details/53463567 一.什麼是熵 Ⅰ.信息量 首先考慮一個離散的隨機變量x,當我們觀察到這個變量的一個具體值的時候,我們接收到多少信息呢? 我們暫時把信息看做在學習x的值時候的」驚訝程度」(這樣非常便於理解且有意義).當我們知道一件必然會發生的事情發生了,比如往下掉的蘋果.我們並不驚訝,因爲反正

>>阅读原文<<