SGD、GD

GD參考：

https://blog.csdn.net/CharlieLincy/article/details/70767791

SGD參考：
https://blog.csdn.net/CharlieLincy/article/details/71082147

關於SGD，博主的第二個問題。

GD 代碼：

SGD代碼：

mini-batch代碼：

一直不明白SGD和GD相比優點到底在哪。看代碼每次迭代兩個算法都要遍歷一次數據集。沒啥區別。

然而。區別就在一樣是一次迭代，遍歷一次數據集，SGD更新了m次參數，GD只更新了一次。

關於這種隨機樣本更新的原理，以及SGD自動逃避鞍點的優勢，有待進一步研究。

論文待看：Optimization methods for large-scale machine learning.