2020李宏毅學習筆記——11.adaptive learning rate
第二種辦法 adaptive learning rate（在train data上訓練結果不好） 1.比如，adagrad 計算方法： 每個parameter都有不同的learning rate。用固定的learning rate n除以過去的所有gradient descent的平方值和，並開根號。 一個經驗： 如果考慮兩個參數w1，w2。若圖中w1在‘’橫方向‘’（等值線濃密）上變化比較平坦，
相關文章
- 1. 李宏毅學習筆記44.Meta Learning
- 2. 李宏毅《Deep Learning》學習筆記 - transformer
- 3. 2020李宏毅學習筆記——9. Backpropagation
- 4. 2020李宏毅學習筆記——5.Optimization for Deep Learning
- 5. 李宏毅機器學習筆記01
- 6. 李宏毅機器學習筆記---Optimization
- 7. 【ML】 李宏毅機器學習筆記
- 8. 臺大李宏毅Machine Learning 2017Fall學習筆記 (11)Convolutional Neural Network
- 9. 李宏毅 2020 Machine Learning
- 10. 2020李宏毅學習筆記——8.Brief Introduction of Deep Learning
- 更多相關文章...
- • 您已經學習了 XML Schema，下一步學習什麼呢？ - XML Schema 教程
- • 我們已經學習了 SQL，下一步學習什麼呢？ - SQL 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • 適用於PHP初學者的學習線路和建議
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 李宏毅學習筆記44.Meta Learning
- 2. 李宏毅《Deep Learning》學習筆記 - transformer
- 3. 2020李宏毅學習筆記——9. Backpropagation
- 4. 2020李宏毅學習筆記——5.Optimization for Deep Learning
- 5. 李宏毅機器學習筆記01
- 6. 李宏毅機器學習筆記---Optimization
- 7. 【ML】 李宏毅機器學習筆記
- 8. 臺大李宏毅Machine Learning 2017Fall學習筆記 (11)Convolutional Neural Network
- 9. 李宏毅 2020 Machine Learning
- 10. 2020李宏毅學習筆記——8.Brief Introduction of Deep Learning