深度學習中的注意力機制概述

        在介紹注意力機制之前，先介紹神經網絡中的一個重要概念：網絡容量（Network Capacity），網絡容量指神經網絡中可以存儲的信息量，一般來講，一組神經元能夠存儲信息的容量和神經元的數量以及神經網絡的複雜度成正比，要存儲更多的信息，神經元的數量就要越多、網絡結構就要越複雜，這些都會導致計算複雜度成倍增長。         人腦的生物神經網絡同樣存在着網絡容量問題，人腦每時每刻從

>>阅读原文<<