SVRG在邏輯二分類模型上的應用

1.隨機方差縮減梯度(SVRG) 在實際問題中爲了保證SGD收斂，須將步長逐漸縮短到0，這使得SGD收斂速度很慢。小步長的需求是來自於SGD隨機取樣造成的方差，但是存在下面描述的修復。每輪都使用來估計，並用來接近最優參數，稱爲的「快照」。比如每經過m次SDG迭代，就抓拍一個，記爲本輪的。此外還要計算下每輪的平均梯度                                          

>>阅读原文<<