【機器學習】交叉熵函數的使用及推導

前言 說明：本文只討論Logistic迴歸的交叉熵，對Softmax迴歸的交叉熵類似。 minist手寫數字識別就是用交叉熵作爲代價函數。 1.從方差代價函數說起 代價函數經常用方差代價函數（即採用均方誤差MSE），比如對於一個神經元（單輸入單輸出，sigmoid函數）,定義其代價函數爲： 其中y是我們期望的輸出，a爲神經元的實際輸出【 a=σ(z), where z=wx+b 】。 在訓練神經網

>>阅读原文<<