【機器學習的Tricks】隨機權值平均優化器swa與pseudo-label僞標籤

文章來自公衆號【機器學習煉丹術】html 1 stochastic weight averaging（swa） 隨機權值平均 這是一種全新的優化器，目前常見的有SGB，ADAM， 【概述】：這是一種經過梯度降低改善深度學習泛化能力的方法，並且不會要求額外的計算量，能夠用到Pytorch的優化器中。python 隨機權重平均和隨機梯度降低SGD類似，因此我通常吧SWa當作SGD的進階版本。web 1

>>阅读原文<<