logistic regression 和 softmax regression的損失函數

我們有logistic regression可以將實數域的輸入映射爲0到1的概率輸出，能夠有很好的意義。但是如果用平常的MSE（最小均方誤差）就會有問題。我們來剖析這個問題： logistic與MSE 現在有一個目標：輸入0，輸出1。 爲了方便起見，我們現在只考慮有一個神經元 我們給定初始的權重w=0.6,b=0.9來看學習趨勢，這裏學習率 η=0.15，初始預測值爲0.82 可以看到Cost一開

>>阅读原文<<