KL散度——相對熵

目錄 1.概念理解 1.1定義 遇到log 0 怎麼辦？ 2.編程實現 1.概念理解 相對熵（relative entropy）又稱爲KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（information gain）。 1.1定義 只需要稍加修改熵H的計算公式就能得到K-L散度的計算公式。設p爲觀察

>>阅读原文<<