Attention mechanism總結

Attention mechanism 總結：Attention機制簡單來說就是一種信息過濾或者提取機制類似於記憶或者門控機制，用來篩選、更新信息。   類比於人腦，神經網絡中可以存儲的信息量稱爲網絡容量。要存儲的信息越多，神經元數量就越多或者網絡越複雜，大量的信息增加了存儲負擔和計算開銷。由於人腦每個時刻接收的外界信息非常多，在有限的資源下，並不能同時處理這些過載的輸入信息。大腦神經系統通過注意

>>阅读原文<<