梯度下降法解讀

梯度下降法，是當今最流行的優化（optimization）算法，亦是至今最常用的優化神經網絡的方法。本文旨在讓你對不同的優化梯度下降法的算法有一個直觀認識，以幫助你使用這些算法。我們首先會考察梯度下降法的各種變體，然後會簡要地總結在訓練（神經網絡或是機器學習算法）的過程中可能遇到的挑戰。 目錄： 梯度下降的各種變體 批量梯度下降（Batch gradient descent） 隨機梯度下降（Sto

>>阅读原文<<