交叉熵損失函數的多樣化理解

背景： 爲什麼會選擇交叉熵損失函數？？？ 起初大佬們想的是使用絕對值誤差作爲損失函數，但是由於絕對值在數學中不好計算，所以大佬們就對絕對誤差進行取平方操作，爲了便於計算，在前面還乘了1/2，然後多個樣本的損失進行求和求均值，即MSE（最大平方估計/最大平方誤差），在深度學習中，我們經常使用的激活函數是sigmoid激活函數，由於該函數直接將輸出激活到(0,1)空間，導致在該函數邊緣的區域進行參數w

>>阅读原文<<