動手深度學習(Pytorch)之路 --- Attention and Transformer

Attention 近年來，Attention機制越來越火，在下不才，可能比你們多看了幾篇博客，分享一些我對於Attention機制的理解，推薦大家去看李宏毅老師的視頻，講的非常清楚，也可以參考博客。和絕大多數神經網絡模型相似，Attention機制最先應用於圖像領域，後來逐漸引入到自然語言處理中。經典的論文可以看看這幾篇：《Recurrent Models of Visual Attention

>>阅读原文<<