[deep learning] Optimizer

本文主要是用於介紹深度學習中常用的幾種優化器 SGD：這是我們最常用的優化器之一。SGD其實有三個版本： batch-SGD，他是一個epoch更新一次數據，這樣子的缺點也是很明顯的，對計算的要求大，不能實時增加數據。有冗餘的信息。 SGD，每個sample更新一次梯度。這樣子做的主要問題是網絡可能難以收斂，波動較大。 Mini-batch SGD，這是我們現在最常用的，就是對一個batch內的數

>>阅读原文<<