面試時如何完整精確的回答動量下降法(Momentum)和Adam下降法的原理

在人工智能算法中，最終的目標都是找到一個最優的模型，而如何找到這個最優模型的參數一般有兩種方法：第一就是等式求解，這個只對一部分簡單的模型有效果，當模型的複雜度上升和參數變多時，求解將會變的極其困難，甚至不存在等式解。所以那麼這裏也就有第二種方法：梯度求解，這是一種利用梯度來一步步接近最優解。其中最有名和最普遍的有批量梯度下降法(BGD),隨機梯度下降法(SGD),小批量梯度下降法。 上面三種梯度

>>阅读原文<<