Continual Learning 經典方法:Memory Aware Synapses (MAS)

1. 顧名思義 Synapses 是神經元的突觸,在人腦中負責連接不同神經元結構。Hebb’s rule 表示在腦生理學中,突觸連接常常滿足 「Fire Together, Wire Together」,即同時被**或者同時失活。所以不同的任務對應潛在的不同突觸——不同的記憶,因此選擇**或者改變某些神經元突觸即可稱爲 Memory Aware Synapses (MAS)。在基於深度模型的終身學
相關文章
相關標籤/搜索