機器學習中各種優化器簡介

1.SGD（隨機梯度下降） 隨機梯度下降是最經典的方法，其計算公式如下圖所示。 其中L是損失函數，在機器學習中存在mini-batch，就是每次選擇一小部分來訓練，這樣這裏的損失函數實際上是把每個的預測值和真實值的損失函數類和起來最爲mini-batch的損失函數返回值，但是你也可以求解平均值，在pytorch中這個在torch.nn.LossFunction中是可選擇的（這裏的lossfunct

>>阅读原文<<