Gradient Descent
之前我們介紹過梯度下降算法，以下我們進行算法的優化，由於特徵值數字大小範圍不一，可能會造成算法逼近的時候出現奇怪的軌跡，如圖x~1 爲0~ 2000，x~2 爲1~ 5，就會造成代價函數圖中的橢圓又扁又長。 因此我們用一些小技巧優化特徵值使-1<x<1或者-0.5<x<0.5 ，稱作特徵值的歸一化。 便是用此公式計算新的值代替，其中μi爲xi在樣本中的平均值，si爲xi的範圍（即最大值減去最小值）
相關文章
- 1. Gradient Descent
- 2. gradient descent
- 3. Gradient descent
- 4. Batch Gradient Descent vs Mini-Batch Gradient Descent vs Stochastic gradient descent
- 5. 從Gradient Descent 到 Stochastic Gradient Descent(SGD)
- 6. Optimization Method -- Gradient Descent with Momentum Gradient Descent （轉）
- 7. mini-batch Gradient Descent
- 8. method_Nesterov's Accelerated Gradient Descent
- 9. 【NTU_ML_Spring2020】2.Gradient Descent
- 10. Stochastic Gradient Descent
- 更多相關文章...
- • SVG 參考手冊 - SVG 教程
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Gradient Descent
- 2. gradient descent
- 3. Gradient descent
- 4. Batch Gradient Descent vs Mini-Batch Gradient Descent vs Stochastic gradient descent
- 5. 從Gradient Descent 到 Stochastic Gradient Descent(SGD)
- 6. Optimization Method -- Gradient Descent with Momentum Gradient Descent （轉）
- 7. mini-batch Gradient Descent
- 8. method_Nesterov's Accelerated Gradient Descent
- 9. 【NTU_ML_Spring2020】2.Gradient Descent
- 10. Stochastic Gradient Descent