梯度下降之隨機梯度下降 -minibatch 與並行化方法

問題的引入： 考慮一個典型的有監督機器學習問題，給定m個訓練樣本S={x(i),y(i)}，通過經驗風險最小化來得到一組權值w，則現在對於整個訓練集待優化目標函數爲： 其中爲單個訓練樣本（x(i),y(i)）的損失函數，單個樣本的損失表示如下： 引入L2正則，即在損失函數中引入，那麼最終的損失爲： 注意單個樣本引入損失爲（並不用除以m）： 正則化的解釋 這裏的正則化項可以防止過擬合，注意是在整體的

>>阅读原文<<