Logistic迴歸進化之FTRL

SGD算法 GD算法 SGD算法 與SGD比較，GD需要每次掃描所有的樣本以計算一個全局梯度，SGD則每次只針對一個觀測到的樣本進行更新。通常情況下SGD可以更快的逼近最優值，而且SGD每次更新只需要一個樣本，使得它很適合進行增量或者在線計算（也就是所謂的Online learning）。 稀疏解 代和選取模型的時候我們經常希望得到更加稀疏的模型，這不僅僅起到了特徵選擇的作用，也降低了預測計算的復

>>阅读原文<<