基於梯度下降法的置信域法和阻尼法

在神經網絡中，訓練函數是重要組成部分，也是較爲複雜的概念。對於什麼問題，什麼樣的數據模型，該用什麼樣的訓練函數對訓練後的結果起着至關重要的作用。常用的訓練函數有：1.梯度下降法；2.有動量的梯度下降法；3.擬牛頓法；4.列文伯格-馬奎特算法。 對於非線性的優化這些方法都是通過迭代來進行的，從初始起點x0逐漸逼近滿足條件的點x*。大多數的訓練函數都需要滿足以下的下降條件： 我們假設函數F在定義域內是

>>阅读原文<<