交叉熵和均方差損失函數的比較（Cross-Entropy vs. Squared Error）

將從線性迴歸，邏輯迴歸，多分類的邏輯迴歸（softmax）三個例子分析。我們定義，將b放到w中，，其中f爲激活函數。 總結 對SE而言，要得到一個線性的梯度，必須輸出不經過激活函數才行。這樣的情況只有線性迴歸，所以SE較適合做迴歸問題，而CE更適合做分類問題，在分類問題中，CE都能得到線性的梯度，能有效的防止梯度的消失； SE作爲分類問題的loss時，由於激活函數求導的影響，造成連續乘以小於1大於

>>阅读原文<<