梯度下降法

梯度下降法原理 梯度下降法又叫盲人下山法，沿着最陡峭的地方，下降最快。 直觀的理解，在自變量的極小閾內，導數大於0，函數遞增。導數小於0，函數遞減。所以沿着梯度的方向函數增加最快。沿着梯度的負方向，函數降低最快。 由泰勒公式的一階展開式得到： 梯度的初始值 初始值一般設定爲0。神經網絡中，一般設定爲隨機值（防止由於網絡的對稱性，造成參數更新的對稱性）。 步長的設定 步長一般設定爲一個接近於0的很小

>>阅读原文<<