3.神經網絡與深度學習（二）—梯度下降算法與隨機梯度下降算法

引言： 我們根據高數中所學的梯度定義知道，二元函數中梯度方向是ｆ（ｘ，ｙ）增長最快的方向，注意：這裏我們的ｆ（ｘ，ｙ）是凸函數，我們嘗試可以從這裏去理解。 １）梯度下降算法 接着上節課講的，我們昨天先把一元函數（一維）的「下降」介紹了一下。那麼同樣的，二元函數也可以類比用這種方法，趨向於極值。例圖如下： 這裏，我們想讓ｃ變小，這也就意味着，我們需要讓Ｃ的變化量一直小於０。我們從微積分出發，Ｃ的變化

>>阅读原文<<