【機器學習】 二次損失函數的不足及交叉熵損失softmax詳解

二次代價函數的不足： 以sigmoid激活函數爲例，由於初始化是隨機的，假設目標值爲0，第一次隨機初始化使得輸入爲0.82，那麼還可以，多次迭代之後可以收斂到0.09，但如果第一次隨機初始化到0.98，由於sigmoid激活函數的性質，就會使得梯度特別小，從而即使迭代次數特別大，也很難收斂到一個較好的值。故實驗二的輸出0.2很不理想。 這個時候就需要引入交叉熵損失。當然我們可以更換激活函數，但這個

>>阅读原文<<