梯度降低及其優化算法綜述

優化神經網絡的模型參數時，梯度降低（Gradient Descent）是最常採用的方法之一，本文旨在讓讀者對梯度降低及其優化版本的算法有直觀的認識。首先介紹梯度降低的三種變體（BGD，SGD，MBGD），總結三者在訓練的過程當中所面臨的挑戰，進而介紹經常使用的改進算法，包括這些算法在解決以上挑戰時的動機以及導形式。算法 梯度降低（GD） 梯度降低算法（Gradient Descent Optimi

>>阅读原文<<