路遙知馬力——Momentum

上一回扯了些關於梯度下降的事情，當然那只是個開頭，有關梯度下降相關的內容非常多。爲了保證完整性，今天再扯一下另外一個在梯度下降中十分重要的東西，那就是動量——momentum。 這是一個十分神祕的變量，我也只能以最簡單的方式理解它，於是在這裏班門弄斧了。正如它的中文名字一樣，在優化求解的過程中，動量扮演了對之前優化量的持續發威的推動劑。一個已經完成的梯度+步長的組合不會立刻消失，只是會以一定的形式

>>阅读原文<<