爲何不用牛頓法來代替梯度降低算法？
a. 牛頓法使用的是目標函數的二階導數，在高維狀況下這個矩陣很是大，計算和存儲都是問題。函數 b. 在小批量的狀況下，牛頓法對於二階導數的估計噪聲太大。 c.目標函數非凸的時候，牛頓法容易受到鞍點或者最大值點的吸引。
相關文章
- 1. 牛頓法與梯度降低法
- 2. 梯度降低法和牛頓法
- 3. 梯度降低法與牛頓法
- 4. 梯度降低法與牛頓降低法速度的比較
- 5. 梯度降低法Vs牛頓降低法
- 6. 隨機梯度下降，批量梯度下降，牛頓法，擬牛頓法
- 7. [優化方法] 梯度降低法、最小二乘法、牛頓法、擬牛頓法、共軛梯度法
- 8. 牛頓法與梯度下降法
- 9. 常見的幾種最優化方法（梯度降低法、牛頓法、擬牛頓法、共軛梯度法等）
- 10. 牛頓法，梯度下降法，擬牛頓法
- 更多相關文章...
- • C# 不安全代碼 - C#教程
- • XSD 如何使用? - XML Schema 教程
- • 算法總結-廣度優先算法
- • 算法總結-深度優先算法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章