優化方法入門

Ref： https://blog.csdn.net/weixin_42398658/article/details/84502215 http://www.javashuo.com/article/p-zyjtscqq-hy.html SGD ： 參數=舊參數 - 學習率*梯度  （1）改變梯度：動量SGD： （2）改變學習率：AdaGrad -->引入衰減因子--> RMSProp （3）改變

>>阅读原文<<