深度學習：注意力機制與外部記憶

前言 神經網絡中可以存儲的信息量稱爲網絡容量（Network Capacity）. 一般來講，其存儲容量和神經元的數量以及網絡的複雜度成正比. 如果要存儲越多的信息，神經元數量就要越多或者網絡要越複雜，進而導致神經網絡的參數成倍地增加。對於人類來說，在有限的資源下，並不能同時處理這些過載的輸入信息，而大腦神經系統有兩個重要機制可以解決信息過載問題：注意力和記憶機制。那麼神經網絡同樣也是可以通過這兩

>>阅读原文<<