Lookahead

Lookahead 1 Introduction 想要在神經網絡中獲得更好的性能，往往需要代價高昂的超參數調節。 使用lookahead 可以改進內部優化器的收斂性，並經常提高泛化性能，同時對超參數變化魯棒性很好，實驗證明，lookahead對內循環優化器的變化，快速權值更新的次數和慢的權重學習速率具有很強的魯棒性。 2 Method lookahead維護了一組slow weights φ和fa

>>阅读原文<<