pytorch學習筆記（十五）————動量與學習率衰減

時間 2020-12-20

標籤 pytorch 简体版

原文原文鏈接

pytorch學習筆記（十五）————動量與學習率衰減目錄動量學習率衰減目錄動量從形式上看，動量算法引入了變量 z充當速度角色——它代表參數在參數空間移動的方向和速率。速度被設爲負梯度的指數衰減平均。名稱動量（momentum），相當於引入動量前的梯度概念，指示着loss在參數空間下一步要下降的方向和大小。其中 w k + 1 w^{k+1} wk+1表示更新後權重； w k w

>>阅读原文<<

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。