深度學習和機器學習最優化方法總結

機器學習 在應用機器學習算法時，我們通常採用梯度下降法來對採用的算法進行訓練。其實，常用的梯度下降法還具體包含有三種不同的形式，它們也各自有着不同的優缺點。 　　下面我們以線性迴歸算法來對三種梯度下降法進行比較。 　　一般線性迴歸函數的假設函數爲： hθ=∑nj=0θjxjhθ=∑j=0nθjxj 　　對應的能量函數（損失函數）形式爲： Jtrain(θ)=1/(2m)∑mi=1(hθ(x(i))

>>阅读原文<<