交叉熵、相對熵及KL散度通俗理解

原文轉載自http://blog.csdn.net/u012162613/article/details/44239919 本文是《Neural networks and deep learning》概覽 中第三章的一部分，講machine learning算法中用得很多的交叉熵代價函數。 1. 從方差代價函數說起 代價函數經常用方差代價函數（即採用均方誤差MSE），比如對於一個神經元（單輸入單輸

>>阅读原文<<