機器學習：神經網絡常見的幾種梯度降低優化方式

當咱們訓練一個神經網絡模型的時候，通常來講會構建一個目標函數，構建一個網絡，設置好超參數： 好比學習率，batch size 的大小，迭代次數，weight decay 的比重等等，而後利用 back propagation 開始訓練，隨着 loss 慢慢減少，收斂到某個最小值，模型訓練結束。html 通常目標函數都是非凸函數，這意味着函數的全局最小值很難找到，目前所採用的優化方法，都只能尋找目標

>>阅读原文<<