李宏毅 機器學習 -2017- Gradient Descent

由梯度(偏微分)和學習速率來更新新的訓練參數,Gradient爲Loss等高線的法線方向,注意負號 2)Learning Rate的調節方法 1)畫出loss的更新曲線 2)自動調Learning Rate(與目標遠的時候調高learning Rate,近的時候調低Learning Rate) 3)針對每個不同的參數設置不同的learing Rate:(Adagrad):每次更新w參數的時候在梯度
相關文章
相關標籤/搜索