數學（三）信息熵、相對熵(KL散度)和交叉熵

『熵』這個詞語聽起來很高大上，如果搞明白含義就會發現它其實比較簡單，但是如果不經常用的話，會時長忘記，因而寫這篇文章是爲了備忘。如果大家想弄清楚熵以及熵延伸出來的相對熵(KL散度)以及交叉熵的話，也可以參考下這篇博客。 關鍵字：信息熵，相對熵，KL散度，交叉熵 本篇博客首先會通過生活中的例子來講解熵的由來，並且依次爲基礎介紹相對熵(KL散度)和交叉熵，因而本篇博客的主要內容如下： 信息熵 相對熵(

>>阅读原文<<