機器學習項目中該如何選擇優化器

機器學習項目中該如何選擇優化器 一些最常用的優化器 不同優化器及其優缺點 一些最常用的優化器 w表示參數，g表示模型的梯度，α爲每個優化器的全局學習率，t爲時間步長 Stochastic Gradient Descent (SGD) 在SGD中，優化器基於一個小batch估計最陡下降的方向，並在這個方向前進一步。由於步長是固定的，SGD會很快陷入平坦區或陷入局部極小值。 SGD with Mome

>>阅读原文<<