Attention的梳理、隨想與嘗試

轉自：https://zhuanlan.zhihu.com/p/38281113 （一）深度學習中的直覺 3 X 1 and 1 X 3 代替 3 X 3 LSTM中的門設計 Attention機制的本質來自於人類視覺注意力機制。人們視覺在感知東西的時候一般不會是一個場景從到頭看到尾每次全部都看，而往往是根據需求觀察注意特定的一部分。而且當人們發現一個場景經常在某部分出現自己想觀察的東西時，人們會

>>阅读原文<<