李宏毅機器學習-4

李宏毅機器學習-4 1、LR損失函數和梯度下降 2、Softmax原理 3、Softmax損失函數和梯度下降 1、LR損失函數和梯度下降 一般線性函數的損失函數是平方損失函數，LR求最大似然估計是因爲sigmoid函數求導後無法保證是凸函數，在優化的過程中可能得到的是局部最小值，而非全局最優。取對數是方便求導。 損失函數除以m這一因子並不改變最終求導極值結果，通過除以m可以得到平均損失值，避免樣本

>>阅读原文<<