學習函數的優化策略

8 優化 這部分主要包括兩個內容一個是優化方法。另一個是傳統圖像識別方法兩步走策略。 優化方法 主要是學習常用的優化算法學習，例如梯度下降，帶動量的梯度下降以及Adam等一系列優化方法。其中本節課提到了梯度、導數的含義以及學習率這個重要的超參數，這個超參數是我們訓練神經網絡需要首要考慮的。隨機梯度下降使用minibatch數據來估計總的誤差以及梯度，這樣速度比使用全部數據計算更快。 兩步走策略重點

>>阅读原文<<